Участник:Boeing/Рецензия:Распознавание именованных сущностей в зашумленных доменах — различия между версиями
Boeing (обсуждение | вклад) (Новая страница: «[https://0x1.tv/%D0%A0%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B8%D0%BC%D0%B5%D0%BD%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_…») |
StasFomin (обсуждение | вклад) |
||
| Строка 6: | Строка 6: | ||
Доклад сделан на тему распознавания именованных сущностей в датасетах, зашумленных опечатками. Продемонстрирована актуальность проблемы на примерах задач анализа социальных сетей и диалоговых систем. | Доклад сделан на тему распознавания именованных сущностей в датасетах, зашумленных опечатками. Продемонстрирована актуальность проблемы на примерах задач анализа социальных сетей и диалоговых систем. | ||
| − | Рассмотрены модели нейросетей biLSTM и CharCNN (сверточная сеть, работающая на уровне отдельных символов слов), докладчик утверждает, что рассмотренные модели представляли собой state-of-the-art на стандартных датасетах задачи NER. Мне кажется, на момент конференции это утверждение уже несколько устарело, поскольку, например, модели NER на основе глубокой языковой модели BERT появились в том же 2018 году и точно представляли sota на тот момент (точно на CoNLL-2003, и скорее всего, и на других использованных здесь датасетах). Впрочем, желание любое NLP засунуть в глубокий трансформер приводит к известному сужению взгляда на вещи, поэтому, пожалуй, полезно иногда посмотреть в другую | + | Рассмотрены модели нейросетей biLSTM и CharCNN (сверточная сеть, работающая на уровне отдельных символов слов), докладчик утверждает, что рассмотренные модели представляли собой state-of-the-art на стандартных датасетах задачи NER. Мне кажется, на момент конференции это утверждение уже несколько устарело, поскольку, например, модели NER на основе глубокой языковой модели BERT появились в том же 2018 году и точно представляли sota на тот момент (точно на CoNLL-2003, и скорее всего, и на других использованных здесь датасетах). Впрочем, желание любое NLP засунуть в глубокий трансформер приводит к известному сужению взгляда на вещи, поэтому, пожалуй, полезно иногда посмотреть в другую сторону — в ретроспективе, так сказать:) |
Был предложен интересный метод повышения устойчивости к опечаткам путём замены символов на случайные другие символы с небольшой вероятностью. Мне нравится идея, но кажется, можно было достичь более правдоподобных результатов, если бы символы подменялись не случайно, а в большем соответствии с тем, как люди обычно совершают опечатки, а именно: | Был предложен интересный метод повышения устойчивости к опечаткам путём замены символов на случайные другие символы с небольшой вероятностью. Мне нравится идея, но кажется, можно было достичь более правдоподобных результатов, если бы символы подменялись не случайно, а в большем соответствии с тем, как люди обычно совершают опечатки, а именно: | ||
* перестановка двух соседних символов в слове; | * перестановка двух соседних символов в слове; | ||
| − | * замена символа на символ, использованный | + | * замена символа на символ, использованный «не более трех символов назад» (такое случайное повторение); |
| − | * пропуск символа; | + | * пропуск символа; |
* замена символа на физически близкий к нему на QWERTY клавиатуре. | * замена символа на физически близкий к нему на QWERTY клавиатуре. | ||
| − | |||
| − | + | Мне кажется, что такая модель зашумления лучше сможет предсказывать опечатки пользователей системы. | |
| − | + | ||
| − | И все-таки интересно, как все это в реалиях 2021 года транслируется на современные сверхглубокие языковые | + | Кроме того, в примере на презентации видно, что символы заменяются не только на символы из алфавита, но и на небуквенные символы — такие опечатки кажутся мне ну совсем маловероятными. В докладе приведены графики качества моделей в зависимости от уровня зашумления обучающего датасета на зашумленном тестовом датасете и на оригинальном тестовом датасете; на обеих диаграммах качество почти линейно убывает при увеличении вероятности зашумления, из чего докладчик делает вывод о хорошей аппроксимации естественного шума их моделью, однако скорость убывания линейных графиков разная: они убывают быстрее на искуственно зашумленном тесте. Я бы сказал, что использованная модель шума все-таки слишком груба и приводит к большим потерям по сравнению с естественным зашумлением. |
| + | |||
| + | Интересным показался момент с получением sota на французском датасете благодаря предобработке spell-checker-ом — видимо, иногда какая-то специфическая предобработка действительно меняет всё дело. | ||
| + | |||
| + | Доклад хорошо структурирован, нагляден. | ||
| + | |||
| + | И все-таки интересно, как все это в реалиях 2021 года транслируется на современные сверхглубокие языковые модели — имеет ли всё еще смысл какая-то предобработка, или в этих комбайнах текст в любом случае перемалывается в удобоваримую массу признаков? | ||
Текущая версия на 16:03, 8 декабря 2021
Краткий отзыв на доклад «Распознавание именованных сущностей в зашумленных доменах» (Влад Лялин, ISPRASOPEN-2018)
Доклад сделан на тему распознавания именованных сущностей в датасетах, зашумленных опечатками. Продемонстрирована актуальность проблемы на примерах задач анализа социальных сетей и диалоговых систем.
Рассмотрены модели нейросетей biLSTM и CharCNN (сверточная сеть, работающая на уровне отдельных символов слов), докладчик утверждает, что рассмотренные модели представляли собой state-of-the-art на стандартных датасетах задачи NER. Мне кажется, на момент конференции это утверждение уже несколько устарело, поскольку, например, модели NER на основе глубокой языковой модели BERT появились в том же 2018 году и точно представляли sota на тот момент (точно на CoNLL-2003, и скорее всего, и на других использованных здесь датасетах). Впрочем, желание любое NLP засунуть в глубокий трансформер приводит к известному сужению взгляда на вещи, поэтому, пожалуй, полезно иногда посмотреть в другую сторону — в ретроспективе, так сказать:)
Был предложен интересный метод повышения устойчивости к опечаткам путём замены символов на случайные другие символы с небольшой вероятностью. Мне нравится идея, но кажется, можно было достичь более правдоподобных результатов, если бы символы подменялись не случайно, а в большем соответствии с тем, как люди обычно совершают опечатки, а именно:
- перестановка двух соседних символов в слове;
- замена символа на символ, использованный «не более трех символов назад» (такое случайное повторение);
- пропуск символа;
- замена символа на физически близкий к нему на QWERTY клавиатуре.
Мне кажется, что такая модель зашумления лучше сможет предсказывать опечатки пользователей системы.
Кроме того, в примере на презентации видно, что символы заменяются не только на символы из алфавита, но и на небуквенные символы — такие опечатки кажутся мне ну совсем маловероятными. В докладе приведены графики качества моделей в зависимости от уровня зашумления обучающего датасета на зашумленном тестовом датасете и на оригинальном тестовом датасете; на обеих диаграммах качество почти линейно убывает при увеличении вероятности зашумления, из чего докладчик делает вывод о хорошей аппроксимации естественного шума их моделью, однако скорость убывания линейных графиков разная: они убывают быстрее на искуственно зашумленном тесте. Я бы сказал, что использованная модель шума все-таки слишком груба и приводит к большим потерям по сравнению с естественным зашумлением.
Интересным показался момент с получением sota на французском датасете благодаря предобработке spell-checker-ом — видимо, иногда какая-то специфическая предобработка действительно меняет всё дело.
Доклад хорошо структурирован, нагляден.
И все-таки интересно, как все это в реалиях 2021 года транслируется на современные сверхглубокие языковые модели — имеет ли всё еще смысл какая-то предобработка, или в этих комбайнах текст в любом случае перемалывается в удобоваримую массу признаков?