Лаборатория искусственного интеллекта
Препарирование противоречий вокруг новой языковой модели OpenAI
Согласно OpenAI, GPT-2 - это огромная языковая модель без учителя, которая генерирует согласованные абзацы текста, достигая state-of-the-art на многих задачах NLP. Также модель способна к элементарному пониманию текста, машинному переводу, ответу на вопросы, и суммаризации - все без обучения под конкретную задачу.
GPT-2 - это глубокая нейронная сеть, обученная на 40 ГБ интернет-данных (около 8 миллионов веб-страниц) для создания модели машинного обучения с около 1,5 миллиардов параметров, однако из-за опасений по поводу неправильного использования была опубликована только ограниченная модель с 117 миллионов параметров.
На семинаре мы обсудим следующие вопросы:
- Что такое языковая модель? Как GPT-2 вписывается в более широкую среду NLP? Для каких задач она хорошая? Почему важны языковые модели?
- Что особенного в недавно выпущенной языковой модели OpenAI?
- Почему GPT-2 вызвала такой переполох?
- Почему то, что они не выпустили полную модель стало проблемой?
- Каковы истинные возможности этой новой модели?
- Что должен был сделать OpenAI иначе?
- Как можно количественно оценить негативное влияние, которое может оказать ваше программное обеспечение?
- Что следует ML-сообществу делать иначе?
- Каковы лучшие практики в публикации новых результатов?
Докладчик: Рауф Курбанов.
Язык доклада: русский.
Дата и время: 27-е февраля, 18:30-20:00.
Место: Таймс, аудитория 204.
Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars