Исследовательская группа
Прикладное машинное обучение и глубинное обучение
Attention Is All You Need
March 27
"Better, Faster, Stronger - сложно удержаться от отсылки к Daft Punk, готовя семинар про механизм внимания.
Мы поговорим об относительно свежей нейросетевой архитектуре — "Transformer" — основанной исключительно на механизмах внимания, полностью отказываясь от рекуррентности и сверток.
Эксперименты на двух задачах машинного перевода показывают, что модели с такой модификацией превосходят традиционные encoder-decoder архитектуры по качеству, при этом предоставляя лучший параллелизм и требуя значительно меньше времени для обучения.
Также вспомним, где ещё пригодится механизм внимания и с чем его едят."
Докладчик: Рауф Курбанов
Время начала: 18:30