Исследовательская группа

Прикладное машинное обучение и глубокое обучение

Neural Text Generation with Unlikelihood Training

December 15

Уважаемые коллеги, 
приглашаем Вас посетить семинар "Neural Text Generation with Unlikelihood Training".

Задача генерации текста является ключевой в обработке естественного языка. Стандартный подход обучения максимизации правдоподобия с последующим декодингом наиболее вероятной последовательности выдаёт однообразные тексты с повторениями. Для решения этой проблемы были предложены некоторые методы сэмплирования, такие как top-k и nucleus sampling. 

На семинаре мы рассмотрим новый способ обучения генеративной модели — unlikelihood training, который понижает вероятность повторения слов. При данном способе сгенерированные последовательности содержат меньшее количество повторений, более разнообразны, при этом они сохраняют perplexity при использовании жадного алгоритма сэмплирования или beam search.

Докладчик: Анна Вышеславова.

Язык доклада: русский.

Дата и время: 17-е декабря, 18:30-20:00.

https://us02web.zoom.us/j/430117051?pwd=TzdKNGRaUCsyMUZBL1UwWTlsOW8yZz09

Meeting ID: 430 117 051

Passcode: 025987

Подробнее об этом и других мероприятиях на сайте research.jetbrains.org.