Лаборатория искусственного интеллекта

Мультизадачное обучение с помощью нейронных сетей испольузет схожести между задачами, чтобы улучшить результаты, но часто страдает от неоптимального деления параметров модели. Для решения этой проблемы были представлены маршрутизирующие сети в 2018-ом году. Маршрутизирующая сеть состоит из двух компонент: машрутизатора и функциональных блоков. Принцип их работы в том, что маршрутизатор после обучения направляет входные объекты по подмножеству, зависящему от объекта, функциональных блоков для получения ответа.

На семинаре мы рассмотрим типы и методы обучения маршрутизаторов, а также результаты их применения.

Статьи:

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (https://openreview.net/forum?id=B1ckMDqlg)

Routing Networks: Adaptive Selection of Non-linear Functions for Multi-Task Learning (https://openreview.net/forum?id=ry8dvM-R-)

SNR: Sub-Network Routing for Flexible Parameter Sharing in Multi-Task Learning (https://www.aaai.org/ojs/index.php/AAAI/article/view/3788)

Gumbel-Matrix Routing for Flexible Multi-task Learning (https://openreview.net/forum?id=S1lHfxBFDH)

Докладчик: Никита Сазанович.

Язык доклада: русский.

Дата и время: 18-е мая, 20:00-21:30.

Место: https://zoom.us/j/217320533

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars