Методы машинного обучения в области программной инженерии
Novel positional encodings to enable tree-based transformersn
Уважаемые коллеги,
приглашаем Вас посетить журнальный клуб, на котором мы разберем статью "Novel positional encodings to enable tree-based transformersn".
Transformer — архитектура нейронной сети, которая уже несколько лет является SOTA во многих задачах обработки естественных языков, ввиду чего её также начали использовать и для обработки кода на различных языках программирования. Однако в обычном варианте архитектуры данные представляются в виде последовательности, что не позволяет полностью извлечь информацию о синтаксической структуре языков программирования, которую обычно представляют в виде абстрактного синтаксического дерева. В связи с этой проблемой, за последние годы появилось несколько подходов к адаптации архитектуры Transformer для данных, представленных в виде дерева.
На этом собрании клуба мы разберём несколько статей. Первая из них — Empirical Study of Transformers for Source Code (https://arxiv.org/pdf/2010.07987.pdf), авторы которой сравнили несколько вышеупомянутых модификаций архитектуры Transformer на нескольких популярных задачах обработки языков программирования. Некоторые из этих модификаций были разобраны на прошедших семинарах нашей лаборатории: Tree Structures and (Self)attention (https://www.youtube.com/watch?v=PYxR5UBCSnU) и Code Prediction by Feeding Trees to Transformers (https://www.youtube.com/watch?v=PYxR5UBCSnU). Без внимания остался лишь один подход, представленный в статье Novel positional encodings to enable tree-based transformers (https://papers.nips.cc/paper/2019/file/6e0917469214d8fbd8c517dcdc6b8dcf-Paper.pdf), которую мы и разберём в качестве второй статьи.
Докладчик: Ярослав Соколов.
Дата и время: 8-е февраля, 18:00.
https://us02web.zoom.us/j/509624984?pwd=dFhRUlowSWprSVAva0JFQ2NUVzZTdz09
Meeting ID: 509 624 984
Passcode: 016883