Методы машинного обучения в области программной инженерии

В области обработки естественного языка модели с архитектурой Transformer уже несколько лет пользуются популярностью, что не удивительно, так как различные её модификации показывают SOTA на ряде задач. Ванильный трансформер работает с последовательными данными, слова поступают на вход модели в порядке их написания в предложении, что совсем не учитывает синтаксические особенности языка. Однако в некоторых случаях, важно учитывать и синтаксис, например, при работе с языками программирования, где в язык заложен чёткий синтаксис. Для передачи такого рода информации, данные можно представлять в виде дерева, например, на основе синтаксического разбора, но тогда становится непонятно, как применять механизм внимания, один из главных компонентов ячейки Transformer.

На данном семинаре мы разберём 2 статьи, в которых авторы предлогают модификации механизма внимания, для работы с иерархическими структурами.

Статьи:

https://arxiv.org/abs/1909.06639

https://arxiv.org/abs/2002.08046

Докладчик: Егор Спирин.

Язык доклада: русский.

Дата и время: 22-е апреля, 19:30-21:00.

Место: https://zoom.us/j/509624984

Видео с семинаров доступно по ссылке: http://bit.ly/MLJBSeminars