Лаборатория искусственного интеллекта
On the Difficulty of Evaluating Baselines: A Study on Recommender Systems
Уважаемые коллеги, приглашаем Вас посетить семинар "On the Difficulty of Evaluating Baselines: A Study on Recommender Systems".
Ключевую роль в оценке исследования в рекомендательных системах, как и во многих других областях, играет сравнение с уже хорошо изученными и проверенными подходами. Но зачастую в исследованиях не уделяют достаточного внимания оптимальной настройке простых методов, поэтому результаты исследования могут сравниваться с неоптимальными результатами работы более простых методов на конкретной задаче. В следствии чего работоспособность и результативность работы нового метода может стоять под вопросом.
Настройка старых методов и последующая оценка их работы на поставленной задаче требует ответственного подхода, что может занимать много усилий и времени. Такой подход необходим для получения оптимального результата работы старых методов, что важно для грамотной оценки результатов исследования.
На семинаре мы разберем пример недооценивания результатов работы метода матричной факторизации в задаче Movielens 10M в сравнении с задачей Netflix Prize - стандартными задачами для оценки работы алгоритмов в рекомендательных системах. Ответим на вопросы: "Что к этому привело?" и "Как такого не допустить?". А также покажем, как при помощи старого и хорошо изученного метода были получены 5 лучших результатов в задаче Movielens 10M за последнее время.
Докладчик: Алексей Корепанов.
Язык доклада: русский.
Дата и время: 2-е марта, 20:00.
https://us02web.zoom.us/j/430117051?pwd=TzdKNGRaUCsyMUZBL1UwWTlsOW8yZz09
Meeting ID: 430 117 051
Passcode: 025987