Исследовательская группа

Прикладное машинное обучение и глубокое обучение

Применение различных методов оптимизации для моделей суммаризации кода

April 27

В стандартном процессе машинного обучения ставится задача поиска глобального минимума функции потерь. При этом ландшафт функции потерь для задач глубокого обучения обычно чрезвычайно сложен, до сих пор неизвестна форма локальных минимумов, их устройство и взаимное расположение. Это приводит к тому, что наиболее популярные на данный момент методы оптимизации (SGD, Adam) могут сойтись в локальный минимум, не являющийся глобальным. К счастью, в последние несколько лет появилось множество подходов, которые модифицируют стандартные SGD и Adam для более качественного обучения моделей и показывают значимое улучшение результатов для исследуемых моделей. Однако, исследователи обычно изучают эффективность предложенных методов на задачах машинного зрения (CIFAR-10, CIFAR-100, ImageNet).

На семинаре мы обсудим принципы работы некоторых из новых методов, а также обобщаемость полученных авторами этих методов результатов на другие задачи глубокого обучения, в частности, на задачу суммаризации кода в имя метода.

Докладчик: Антон Праздничных.

Язык доклада: русский.

Дата и время: 27-е апреля, 20:00.

https://us02web.zoom.us/j/430117051?pwd=TzdKNGRaUCsyMUZBL1UwWTlsOW8yZz09

Meeting ID: 430 117 051

Passcode: 025987