JetBrains Research — наука, меняющая мир

BERT

Множество задач обработки естественного языка наиболее эффективно решаются путём специализации моделей, предварительно обученных на больших объёмах неразмеченного и неспецифичного текста. Однако, возможности существующих систем ограничивается последовательными моделями языка, способными связывать слово только с предыдущими.

На семинаре мы смотрим новую модель BERT от Google, которая решает эту проблему, вводя двунаправленную модель языка, которая учитывает также слова, идущие после данного. Эта модель позволяет применить для предобучения архитектуру transformer, ранее показавшую state-of-the-art эффективность на задаче машинного перевода. Авторы обучили сеть на двух задачах и улучшили существующие результаты в одиннадцати.

Докладчик: Андрей Гусев.

Язык доклада: русский.

Дата и время: 27-е февраля, 18:30-20:00.

Место: Таймс, аудитория 204.

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars