Исследовательская группа
Лаборатория искусственного интеллекта
Attention Is All You Need
27 марта
"Better, Faster, Stronger - сложно удержаться от отсылки к Daft Punk, готовя семинар про механизм внимания.
Мы поговорим об относительно свежей нейросетевой архитектуре — "Transformer" — основанной исключительно на механизмах внимания, полностью отказываясь от рекуррентности и сверток.
Эксперименты на двух задачах машинного перевода показывают, что модели с такой модификацией превосходят традиционные encoder-decoder архитектуры по качеству, при этом предоставляя лучший параллелизм и требуя значительно меньше времени для обучения.
Также вспомним, где ещё пригодится механизм внимания и с чем его едят."
Докладчик: Рауф Курбанов
Время начала: 18:30