Прикладное машинное обучение и глубинное обучение

"Better, Faster, Stronger - сложно удержаться от отсылки к Daft Punk, готовя семинар про механизм внимания.

Мы поговорим об относительно свежей нейросетевой архитектуре — "Transformer" — основанной исключительно на механизмах внимания, полностью отказываясь от рекуррентности и сверток.

Эксперименты на двух задачах машинного перевода показывают, что модели с такой модификацией превосходят традиционные encoder-decoder архитектуры по качеству, при этом предоставляя лучший параллелизм и требуя значительно меньше времени для обучения.

Также вспомним, где ещё пригодится механизм внимания и с чем его едят."

Докладчик: Рауф Курбанов

Время начала: 18:30