Лаборатория искусственного интеллекта
Маршрутизирующие сети
Мультизадачное обучение с помощью нейронных сетей испольузет схожести между задачами, чтобы улучшить результаты, но часто страдает от неоптимального деления параметров модели. Для решения этой проблемы были представлены маршрутизирующие сети в 2018-ом году. Маршрутизирующая сеть состоит из двух компонент: машрутизатора и функциональных блоков. Принцип их работы в том, что маршрутизатор после обучения направляет входные объекты по подмножеству, зависящему от объекта, функциональных блоков для получения ответа.
На семинаре мы рассмотрим типы и методы обучения маршрутизаторов, а также результаты их применения.
Статьи:
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (https://openreview.net/forum?id=B1ckMDqlg)
Routing Networks: Adaptive Selection of Non-linear Functions for Multi-Task Learning (https://openreview.net/forum?id=ry8dvM-R-)
SNR: Sub-Network Routing for Flexible Parameter Sharing in Multi-Task Learning (https://www.aaai.org/ojs/index.php/AAAI/article/view/3788)
Gumbel-Matrix Routing for Flexible Multi-task Learning (https://openreview.net/forum?id=S1lHfxBFDH)
Докладчик: Никита Сазанович.
Язык доклада: русский.
Дата и время: 18-е мая, 20:00-21:30.
Место: https://zoom.us/j/217320533
Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars