Прикладное машинное обучение и глубокое обучение
Адаптивные стохастические градиентные методы: теория и практика
В докладе мы поговорим об адаптивных градиентных методах и об их стохастических расширениях. Мы обсудим самые популярные теоретические и эвристические приемы для ускорения градиентного спуска. Отдельное внимание мы уделим противоречиям между теорией и практикой, особенно ярко возникающим при обучении нейросетей. Доклад будет базироваться на ряде статей последних лет, включая несколько появившихся в 2020 году. Базируясь на них, мы сформулируем несколько открытых проблемы в оптимизиации и обсудим, как можно пытаться их решить.
Перед докладом рекомендуется ознакомиться с базовыми определениями такими, как выпуклость функции и ее градиент.
Докладчик: Константин Мищенко.
Язык доклада: русский.
Дата и время: 24-е сентября, 18:30-20:00.
Место: https://us02web.zoom.us/j/430117051
Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars
Для получения рассылки о семинаре (с паролем от Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.