JetBrains Research — наука, меняющая мир

Training Neural Networks with Local Error Signals

Как правило, обучение нейронных сетей выполняется с использованием глобальной функции потерь. Классическое обратное распространение ошибки может иметь неприятные побочные эффекты, такие как «backward locking» — все предыдущие слои блокируются до градиентов для текущего слоя, а так же другие проблемы, которые не могут быть решены без изменения алгоритма обучения. Альтернативный подход заключается в обучении сети с использованием послойных функций потерь.

На следующем семинаре мы обсудим новый подход послойного обучения и то, как оно может приблизиться к современному state-of-the-art в задаче классификации изображений.

Докладчик: Октай Татанов.

Язык доклада: русский.

Дата и время: 30-е января, 18:30-20:00.

Место: Таймс, аудитория 204.

Материалы:
Nøkland, Arild, and Lars Hiller Eidnes. "Training Neural Networks with Local Error Signals." arXiv preprint arXiv:1901.06656 (2019).

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars