Исследовательская группа

Лаборатория искусственного интеллекта

Reformer: The Efficient Transformer

3 декабря

До недавнего времени использование LSTM было стандартной практикой для обработки последовательностей. При машинном переводе из одного языка на другой данная модель может запоминать контекст от нескольких десятков до нескольких сотен слов.

С появлением Transformer качество машинного перевода сильно улучшилось. Произошло это в том числе и потому, что данная модель позволяет расширить контекст до нескольких тысяч слов. Однако дальнейшее увеличение контекста требует наличие большого количества памяти и вычислений.

На семинаре рассмотрим модель Reformer. Данная модель эффективно расходует память и использует Хеширование для быстрого вычисления Attention, что позволяет использовать Reformer для контекстных окон размером до 1 миллиона слов.

Докладчик: Артем Пермяков.

Язык доклада: русский.

Дата и время: 3-е декабря, 18:30-20:00.

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Для получения рассылки о семинаре (с ссылкой на Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.