Прикладное машинное обучение и глубокое обучение

Что будет если обучать бесконечно широкую нейронную сеть?

В статье "Wide Neural Networks of Any Depth" утверждается, что результат будет точно такой же, как и обучение линейной модели градиентным спуском. Чтобы работать с бесконечно широкими сетями, в статье вводят ядро NTK (neural tangent kernel), решают диффуры и так далее. Получается, что обучение бесконечно широких сетей -- это *ядерный метод*.

На семинаре планируется следующее:

- рассказ про Kernel Regression

- рассказ про обучение бесконечно широких сетей по статье "Wide Neural Networks of Any Depth"

- рассказ про статью Neural Kernels without Tangents (эта статья -- state-of-the-art среди ядерных методов на CIFAR-10)

Материалы:

- Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent (https://arxiv.org/abs/1902.06720.pdf)

- Neural Kernels without Tangents (https://arxiv.org/abs/2003.02237.pdf)

- Презентация Виктора Китова про Kernel Regression (http://www.machinelearning.ru/wiki/images/5/55/Kit...)

Докладчик: Максим Винниченко.

Язык доклада: русский.

Дата и время: 11-е мая, 20:00-21:30.

Место: https://zoom.us/j/217320533

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars