Прикладное машинное обучение и глубокое обучение
Neural Kernel Methods
Что будет если обучать бесконечно широкую нейронную сеть?
В статье "Wide Neural Networks of Any Depth" утверждается, что результат будет точно такой же, как и обучение линейной модели градиентным спуском. Чтобы работать с бесконечно широкими сетями, в статье вводят ядро NTK (neural tangent kernel), решают диффуры и так далее. Получается, что обучение бесконечно широких сетей -- это *ядерный метод*.
На семинаре планируется следующее:
- рассказ про Kernel Regression
- рассказ про обучение бесконечно широких сетей по статье "Wide Neural Networks of Any Depth"
- рассказ про статью Neural Kernels without Tangents (эта статья -- state-of-the-art среди ядерных методов на CIFAR-10)
Материалы:
- Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent (https://arxiv.org/abs/1902.06720.pdf)
- Neural Kernels without Tangents (https://arxiv.org/abs/2003.02237.pdf)
- Презентация Виктора Китова про Kernel Regression (http://www.machinelearning.ru/wiki/images/5/55/Kit...)
Докладчик: Максим Винниченко.
Язык доклада: русский.
Дата и время: 11-е мая, 20:00-21:30.
Место: https://zoom.us/j/217320533
Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars