Участник:Boeing/Рецензия:Распознавание именованных сущностей в зашумленных доменах
Краткий отзыв на доклад «Распознавание именованных сущностей в зашумленных доменах» (Влад Лялин, ISPRASOPEN-2018)
Доклад сделан на тему распознавания именованных сущностей в датасетах, зашумленных опечатками. Продемонстрирована актуальность проблемы на примерах задач анализа социальных сетей и диалоговых систем.
Рассмотрены модели нейросетей biLSTM и CharCNN (сверточная сеть, работающая на уровне отдельных символов слов), докладчик утверждает, что рассмотренные модели представляли собой state-of-the-art на стандартных датасетах задачи NER. Мне кажется, на момент конференции это утверждение уже несколько устарело, поскольку, например, модели NER на основе глубокой языковой модели BERT появились в том же 2018 году и точно представляли sota на тот момент (точно на CoNLL-2003, и скорее всего, и на других использованных здесь датасетах). Впрочем, желание любое NLP засунуть в глубокий трансформер приводит к известному сужению взгляда на вещи, поэтому, пожалуй, полезно иногда посмотреть в другую сторону — в ретроспективе, так сказать:)
Был предложен интересный метод повышения устойчивости к опечаткам путём замены символов на случайные другие символы с небольшой вероятностью. Мне нравится идея, но кажется, можно было достичь более правдоподобных результатов, если бы символы подменялись не случайно, а в большем соответствии с тем, как люди обычно совершают опечатки, а именно:
- перестановка двух соседних символов в слове;
- замена символа на символ, использованный «не более трех символов назад» (такое случайное повторение);
- пропуск символа;
- замена символа на физически близкий к нему на QWERTY клавиатуре.
Мне кажется, что такая модель зашумления лучше сможет предсказывать опечатки пользователей системы.
Кроме того, в примере на презентации видно, что символы заменяются не только на символы из алфавита, но и на небуквенные символы — такие опечатки кажутся мне ну совсем маловероятными. В докладе приведены графики качества моделей в зависимости от уровня зашумления обучающего датасета на зашумленном тестовом датасете и на оригинальном тестовом датасете; на обеих диаграммах качество почти линейно убывает при увеличении вероятности зашумления, из чего докладчик делает вывод о хорошей аппроксимации естественного шума их моделью, однако скорость убывания линейных графиков разная: они убывают быстрее на искуственно зашумленном тесте. Я бы сказал, что использованная модель шума все-таки слишком груба и приводит к большим потерям по сравнению с естественным зашумлением.
Интересным показался момент с получением sota на французском датасете благодаря предобработке spell-checker-ом — видимо, иногда какая-то специфическая предобработка действительно меняет всё дело.
Доклад хорошо структурирован, нагляден.
И все-таки интересно, как все это в реалиях 2021 года транслируется на современные сверхглубокие языковые модели — имеет ли всё еще смысл какая-то предобработка, или в этих комбайнах текст в любом случае перемалывается в удобоваримую массу признаков?