Исследовательская группа

Методы машинного обучения в области программной инженерии

Attention, attention!

January 30

Механизм внимания (attention) сейчас является одним из самых полезных инструментов во многих областях применения глубокого обучения, таких как распознавание речи, компьютерное зрение, анализ естественного языка и т.д.

В позапрошлом году была представлена архитектура Transformer, заменившая рекурентные и сверточные слои на слои внимания и продемонстрировала очень хорошие результаты во многих задачах. Однако имплементация этой архитектуры довольно сложна, и одной из целей семинара будет разобраться, как правильно создать и применить эту архитектуру.

Также, в недавней статье от OpenAI был продемонстрирован большой прирост в качестве исполнения разных NLP задач от предобучение нейронной сети на большом корпусе неразмеченного текста. Возможно этот метод можно будет применить и в задачах анализа и генерации программного кода.

Докладчик: Рауф Курбанов.

Язык доклада: русский.

Дата и время: 30-е января, 20:00-21:30.

Место: Таймс, аудитория 204.

Материалы:

* Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. “Effective approaches to attention-based neural machine translation.” arXiv preprint arXiv:1508.04025 (2015).
* Yang, Zichao, et al. "Hierarchical attention networks for document classification." Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2016.
* Vaswani, Ashish, et al. "Attention is all you need." Advances in Neural Information Processing Systems. 2017.
* Radford, Alec, et al. “Improving language understanding by generative pre-training.” URL https://s3-us-west-2. amazonaws. com/openai-assets/research-covers/languageunsupervised/language understanding paper. pdf (2018).

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Материалы