JetBrains Research — наука, меняющая мир

Code Prediction by Feeding Trees to Transformers

Архитектура Трансформер вот уже несколько лет активно развивается в области обработки естественных языков, показывая лучшие результаты во многих задачах. В последнее время исследователи начали модифицировать Трансформер, позволяя моделям извлекать больше информации из данных с древовидной структурой. Как известно, исходный код можно легко представить в виде дерева. Некоторые исследования показывают, что использование древовидной структуры кода позволяет добиваться лучших результатов в некоторых задачах. Одна из таких задач — автодополнение кода (code completion), суть которой заключается в предсказании следующего токена по контексту из предыдущих токенов.

В статье, которая будет разобрана на семинаре, авторы исследовали сразу несколько вопросов. Показывают ли модели с Трансформер архитектурой лучшие результаты, нежели рекуррентные нейросети? Помогает ли использование информации о древовидной структуре кода улучшить качество генерации следующего токена? Что именно выучивают такие модели?

https://arxiv.org/pdf/2003.13848.pdf

Докладчик: Ярослав Соколов.

Язык доклада: русский.

Дата и время: 29-е апреля, 19:30-21:00.

Место: https://zoom.us/j/509624984

Видео с семинаров доступно по ссылке: http://bit.ly/MLJBSeminars