Методы машинного обучения в области программной инженерии
Tree Structures and (Self)attention
В области обработки естественного языка модели с архитектурой Transformer уже несколько лет пользуются популярностью, что не удивительно, так как различные её модификации показывают SOTA на ряде задач. Ванильный трансформер работает с последовательными данными, слова поступают на вход модели в порядке их написания в предложении, что совсем не учитывает синтаксические особенности языка. Однако в некоторых случаях, важно учитывать и синтаксис, например, при работе с языками программирования, где в язык заложен чёткий синтаксис. Для передачи такого рода информации, данные можно представлять в виде дерева, например, на основе синтаксического разбора, но тогда становится непонятно, как применять механизм внимания, один из главных компонентов ячейки Transformer.
На данном семинаре мы разберём 2 статьи, в которых авторы предлогают модификации механизма внимания, для работы с иерархическими структурами.
Статьи:
https://arxiv.org/abs/1909.06639
https://arxiv.org/abs/2002.08046
Докладчик: Егор Спирин.
Язык доклада: русский.
Дата и время: 22-е апреля, 19:30-21:00.
Место: https://zoom.us/j/509624984
Видео с семинаров доступно по ссылке: http://bit.ly/MLJBSeminars