Исследовательская группа

Прикладное машинное обучение и глубокое обучение

Reformer: The Efficient Transformer

December 3

До недавнего времени использование LSTM было стандартной практикой для обработки последовательностей. При машинном переводе из одного языка на другой данная модель может запоминать контекст от нескольких десятков до нескольких сотен слов.

С появлением Transformer качество машинного перевода сильно улучшилось. Произошло это в том числе и потому, что данная модель позволяет расширить контекст до нескольких тысяч слов. Однако дальнейшее увеличение контекста требует наличие большого количества памяти и вычислений.

На семинаре рассмотрим модель Reformer. Данная модель эффективно расходует память и использует Хеширование для быстрого вычисления Attention, что позволяет использовать Reformer для контекстных окон размером до 1 миллиона слов.

Докладчик: Артем Пермяков.

Язык доклада: русский.

Дата и время: 3-е декабря, 18:30-20:00.

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Для получения рассылки о семинаре (с ссылкой на Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.