Методы машинного обучения в области программной инженерии

Уважаемые коллеги, 
приглашаем Вас посетить журнальный клуб, на котором мы разберем статью "Novel positional encodings to enable tree-based transformersn".

Transformer — архитектура нейронной сети, которая уже несколько лет является SOTA во многих задачах обработки естественных языков, ввиду чего её также начали использовать и для обработки кода на различных языках программирования. Однако в обычном варианте архитектуры данные представляются в виде последовательности, что не позволяет полностью извлечь информацию о синтаксической структуре языков программирования, которую обычно представляют в виде абстрактного синтаксического дерева. В связи с этой проблемой, за последние годы появилось несколько подходов к адаптации архитектуры Transformer для данных, представленных в виде дерева.

На этом собрании клуба мы разберём несколько статей. Первая из них — Empirical Study of Transformers for Source Code (https://arxiv.org/pdf/2010.07987.pdf), авторы которой сравнили несколько вышеупомянутых модификаций архитектуры Transformer на нескольких популярных задачах обработки языков программирования. Некоторые из этих модификаций были разобраны на прошедших семинарах нашей лаборатории: Tree Structures and (Self)attention (https://www.youtube.com/watch?v=PYxR5UBCSnU) и Code Prediction by Feeding Trees to Transformers (https://www.youtube.com/watch?v=PYxR5UBCSnU). Без внимания остался лишь один подход, представленный в статье Novel positional encodings to enable tree-based transformers (https://papers.nips.cc/paper/2019/file/6e0917469214d8fbd8c517dcdc6b8dcf-Paper.pdf), которую мы и разберём в качестве второй статьи.

Докладчик: Ярослав Соколов.

Дата и время: 8-е февраля, 18:00.

https://us02web.zoom.us/j/509624984?pwd=dFhRUlowSWprSVAva0JFQ2NUVzZTdz09

Meeting ID: 509 624 984

Passcode: 016883