JetBrains Research — наука, меняющая мир

Attention, attention!

Механизм внимания (attention) сейчас является одним из самых полезных инструментов во многих областях применения глубокого обучения, таких как распознавание речи, компьютерное зрение, анализ естественного языка и т.д.

В позапрошлом году была представлена архитектура Transformer, заменившая рекурентные и сверточные слои на слои внимания и продемонстрировала очень хорошие результаты во многих задачах. Однако имплементация этой архитектуры довольно сложна, и одной из целей семинара будет разобраться, как правильно создать и применить эту архитектуру.

Также, в недавней статье от OpenAI был продемонстрирован большой прирост в качестве исполнения разных NLP задач от предобучение нейронной сети на большом корпусе неразмеченного текста. Возможно этот метод можно будет применить и в задачах анализа и генерации программного кода.

Докладчик: Рауф Курбанов.

Язык доклада: русский.

Дата и время: 30-е января, 20:00-21:30.

Место: Таймс, аудитория 204.

Материалы:

* Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. “Effective approaches to attention-based neural machine translation.” arXiv preprint arXiv:1508.04025 (2015).
* Yang, Zichao, et al. "Hierarchical attention networks for document classification." Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2016.
* Vaswani, Ashish, et al. "Attention is all you need." Advances in Neural Information Processing Systems. 2017.
* Radford, Alec, et al. “Improving language understanding by generative pre-training.” URL https://s3-us-west-2. amazonaws. com/openai-assets/research-covers/languageunsupervised/language understanding paper. pdf (2018).

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars