JetBrains Research — наука, меняющая мир

Адаптивные стохастические градиентные методы: теория и практика

В докладе мы поговорим об адаптивных градиентных методах и об их стохастических расширениях. Мы обсудим самые популярные теоретические и эвристические приемы для ускорения градиентного спуска. Отдельное внимание мы уделим противоречиям между теорией и практикой, особенно ярко возникающим при обучении нейросетей. Доклад будет базироваться на ряде статей последних лет, включая несколько появившихся в 2020 году. Базируясь на них, мы сформулируем несколько открытых проблемы в оптимизиации и обсудим, как можно пытаться их решить.

Перед докладом рекомендуется ознакомиться с базовыми определениями такими, как выпуклость функции и ее градиент.

Докладчик: Константин Мищенко.

Язык доклада: русский.

Дата и время: 24-е сентября, 18:30-20:00.

Место: https://us02web.zoom.us/j/430117051

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Для получения рассылки о семинаре (с паролем от Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.