0x1-classification — различия между версиями

Материал из DISCOPAL
Перейти к: навигация, поиск
 
(не показана одна промежуточная версия этого же участника)
Строка 97: Строка 97:
 
** Большие категории (высокоуровневые, в которых вкладывается много более узких), должны котироваться слабее.
 
** Большие категории (высокоуровневые, в которых вкладывается много более узких), должны котироваться слабее.
  
=== Чтобы сделать? _ ===
+
=== Датасет ===
* Какой-то прототип
+
* http://video-sky.0x1.tv/channels/misc/datasets/0x1tv-dataset.pickle
* Какие данные нужны?
+
* Python pickle
 +
** Два списка — статьи и категории
 +
<code-python>
 +
        self.dataset = {
 +
            'articles': [],
 +
            'categories': [],
 +
        }
 +
</code-python>
 +
* Каждая статья и категория (один фиг) состоит из
 +
** заголовка
 +
** текста — там весь текст статьи, но можно легко вытащить аннотацию — она в
 +
<pre><nowiki><blockquote>вот тут аннотация обычно на 2-3-4 абзаца</blockquote></nowiki></pre>
 +
** списка категогий, к которым относится эта статья или категория.
 +
<code-python>
 +
            article = {
 +
              'title': page.page_title,
 +
              'text': page.text(),   
 +
              'categories': []
 +
            }
 +
</code-python>

Текущая версия на 21:47, 25 сентября 2021

Заголовок

Задача классификации 0x1.tv
Автор
Stas Fomin
Нижний колонтитул
0x1-classification
Дополнительный нижний колонтитул

Stas Fomin, 21:47, 25 сентября 2021


Есть сайт 0x1.tv _

Технически — MediaWiki _

MediaWiki Понятия _

Page
Atom of Content
  • ID = Name = Title = URL
    • No more ID ≠ File ≠ Section Title
    • Названия несут семантику
  • Linking by name!
    • Not crazy URLs like «googledocs.php?id_doc=384357239&ctd=545654…»
    • Rename pages with redirections
    • Can link to nonexisting articles
    • Create any new page by typing name in browser URL
      • «Write fast, improves later if need» — easy to create big documentation

MediaWiki Concepts: Birds view ._

[svg]


MediaWiki Concepts: Namespace _

Main
Regular namespace.
File
Binary files — images, documents, PDF, SVG, any blobs
  • Can be uploaded with any name
  • Supporting authomatic thumbnail/preview generation (even for PDF/docs).
  • Link to such file, include it
[[File:Page history diff.png|640px|center]]
Category
Categories. Main tool for structuring MediaWiki content.

… a tens of others (Blogs, Quizzes, ACL, …)


Categories _

  • Page in "Category" namespace.
    • Can have content like any other page.
  • All pages linked to this page, "belongs" to it.
[[Category:SAAS]]
  • A category can belongs to several other categories.
  • It is like Web2.0 "tags", but structured and self-described.

Страница 0x1.tv _

  • Заголовок, часто длинный.
  • Аннотация — наверное самый основной источник для классификации.
  • Ссылка на автора
  • Ссылка на видео на ютубе и vimeo (не поможет в классификации)
  • Одна или несколько категорий, иногда вообще нет, иногда слишком общее.
  • Иногда тезисы — много текста!

Что хотелось бы _

  • Предложить категории для страницы — максимально узкие и походящие, может несколько. Из существующих.
  • Возможно дополнительно показать близкие статьи — чтобы уже вручную создать новые категории.
  • http://0x1.tv/img_auth.php/generated/categorygraph.svg

Тут явно ML _

  • C элементами NTLK
    • Т.е. надо и парсить текст, убирать стоп слова.
    • И как-то отклассифицировать, учесть имеющиеся категории
    • Большие категории (высокоуровневые, в которых вкладывается много более узких), должны котироваться слабее.

Датасет

        self.dataset = {
            'articles': [],
            'categories': [],
        }
  • Каждая статья и категория (один фиг) состоит из
    • заголовка
    • текста — там весь текст статьи, но можно легко вытащить аннотацию — она в
<blockquote>вот тут аннотация обычно на 2-3-4 абзаца</blockquote>
    • списка категогий, к которым относится эта статья или категория.
            article = {
               'title': page.page_title,
               'text': page.text(),     
               'categories': []
            }