Исследовательская группа

Прикладное машинное обучение и глубокое обучение

BERT

March 6

Множество задач обработки естественного языка наиболее эффективно решаются путём специализации моделей, предварительно обученных на больших объёмах неразмеченного и неспецифичного текста. Однако, возможности существующих систем ограничивается последовательными моделями языка, способными связывать слово только с предыдущими.

На семинаре мы смотрим новую модель BERT от Google, которая решает эту проблему, вводя двунаправленную модель языка, которая учитывает также слова, идущие после данного. Эта модель позволяет применить для предобучения архитектуру transformer, ранее показавшую state-of-the-art эффективность на задаче машинного перевода. Авторы обучили сеть на двух задачах и улучшили существующие результаты в одиннадцати.

Докладчик: Андрей Гусев.

Язык доклада: русский.

Дата и время: 6-е марта, 18:30-20:00.

Место: Таймс, аудитория 204.

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars