Исследовательская группа

Агентные системы и обучение с подкреплением

Lifelong Learning

2 апреля 2019

Человеческий мозг способен накапливать знания и эффективно использовать их для решения новых, ранее не виденных задач. В машинном обучении (и обучении с подкреплением в частности) такой перенос знаний во многом остается открытой проблемой.

Мы поговорим об одном из подходов к ее решению, получившему название Continual или Lifelong Learning. В рамках этого подхода предполагается, что модель последовательно обучается связанным или не связанным между собой задачам, используя накопленный ею релевантный опыт.

Мы обсудим основные направления развития Continual/Lifelong Learning, фокусируясь прежде всего на глубинном обучении в обучении с подкреплением. В частности, речь пойдет о PG-ELLA [1], Policy Distillation [2], Learning without Forgetting [3] и Pseudo-Rehearsal [4].

[1] Ammar, et al. "Online multi-task learning for policy gradient methods." ICML (2014). http://proceedings.mlr.press/v32/ammar14.pdf
[2] Rusu, et al. "Policy distillation." arXiv preprint (2015). https://arxiv.org/pdf/1511.06295
[3] Li & Hoiem. "Learning without forgetting." IEEE Trans. Patt. An. Machine Intelligence (2018). https://arxiv.org/pdf/1606.09282
[4] Atkinson, et al. "Pseudo-Rehearsal: Achieving Deep Reinforcement Learning without Catastrophic Forgetting." arXiv preprint (2018). https://arxiv.org/pdf/1812.02464

Докладчик: Азат Тагиджанов.

Язык доклада: русский.

Дата и время: 2-е апреля, 18:30-20:00.

Место: Таймс, аудитория 204.

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Дополнительно