Исследовательская группа

Агентные системы и обучение с подкреплением

Curriculum Learning for Reinforcement Learning Domains & Representation Learning via Invariant Causal Mechanisms

December 2

Curriculum Learning for Reinforcement Learning Domains 


Одной из важных проблем современного обучения с подкрепление при решении сложных задач является необходимость большого количества взаимодействия с окружением. Одним из решений данной проблемы является использование transfer learning, который позволяет передать опыт, полученный на предыдущих задачах, для обучения новым, более сложным задачам. При использовании данного подхода возникает вопрос о том, как правильно выбирать задачи. Основная цель curriculum learning (CL) — построить план постепенно усложняющихся задач, обучение по которому позволило бы решить исходную задачу быстрее и/или эффективнее, чем при попытке научиться решать ее сразу. Этот процесс можно сравнить с развитием людей: обучение начинается с простых базовых концепций, которые постепенно усложняются и становятся более сложными, то есть формируется так называемое обучение по расписанию (curriculum). В машинном обучении такой подход приводит к тому, что в результате могут быть достигнуты более быстрая сходимость и производительность по сравнению с обучением на исходной задаче с нуля.

На данном семинаре будет разобрана статья, авторы которой поднимают и отвечают на такие вопросы, как: "Что такое curriculum?", "Как формализовать и классифицировать методы CL?", "Как формулировать задачи для последовательного обучения?" и другие. В процессе обозреваются различные методы, связанные с генерацией задач, способы передачи полученного опыта от одной задачи к другой. Основная же часть статьи посвящена методам непосредственного построения расписания.

Докладчик: Артем Котов.

 

Representation Learning via Invariant Causal Mechanisms

На сегодняшний день все более популярным становится self-supervised learning, то есть обучение без разметки, с целью получить представления каких-либо объектов. Естественной мотивацией к исследованию в данной области служат нехватка размеченных данных, а также их дороговизна.

В рамках данного семинара формализуем проблему self-supervised learning с точки зрения причинно-следственной связи, рассмотрим новый подход ReLIC, достигающий инвариантности предсказаний относительно аугментации данных. Посмотрим на его обобщающие способности как для стандартных задач компьютерного зрения, так и для обучения с подкреплением.

Докладчик: Мельцер Сергей.

Язык докладов: русский.

Дата и время: 2-е декабря, 20:00-21:30.

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Для получения рассылки о семинаре (с ссылкой на Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.