Исследовательская группа

Агентные системы и обучение с подкреплением

Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning

November 11

Многие задачи реального мира естественно моделировать как системы, состоящие из множества агентов, скооперированных друг с другом. Подобные задачи полезно решать методами мультиагентного обучения в подкреплением, т.к. они обладают многими преимуществами по сравнению с методами для обучения одного агента. Однако данные модели содержат некоторые проблемы. Например, для такой популярной модели как independent Q–learning невозможно эффективно использовать подход experience replay memory для глубоких нейронных сетей, который помогает стабилизировать обучение сети.

Авторы статьи "Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning" предлагают два метода, которые могут помочь избежать подобных проблем: 1) использование мультиагентного варианта importance sampling и 2) fingerprint, которые будут подробнее рассмотрены на семинаре. Также данные методы оцениваются авторами статьи в децентрализованном варианте игры StarCraft unit micromanagement.

Докладчик: Алексей Яковлев.

Язык доклада: русский.

Дата и время: 11-е ноября, 20:00-21:30.

Место: https://us02web.zoom.us/j/721102369

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Для получения рассылки о семинаре (с паролем от Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.

Материалы