JetBrains Research — наука, меняющая мир

A Game Theoretic Framework for Model Based Reinforcement Learning

Model-based reinforcement learning (MBRL) набирает всё большую популярность благодаря возможности использовать меньше данных для обучения и использованию off-policy данных. Однако, проектирование стабильных и эффективных MBRL алгоритмов всё ещё остаётся тяжёлой задачей. Авторы статьи предлагают фреймворк, который позволяет рассматривать MBRL алгоритм как игру между: (1) игроком политики, максимизирующим награду при текущей модели; (2) игроком модели, который старается обучиться на данных о среде, собранных игроком политики. Для проектирования алгоритма, авторы предлагают использовать модель Штакельберга между двумя игроками и показывают, что её можно решить с помощью двухуровневой оптимизации.

На семинаре обсудим полученные авторами результаты и основные идеи предложенного фреймворка.

Докладчик: Владимир Егоров.

Язык доклада: русский.

Дата и время: 23-е сентября, 20:00-21:30.

Место: https://us02web.zoom.us/j/721102369

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Для получения рассылки о семинаре (с паролем от Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.