Исследовательская группа

Прикладное машинное обучение и глубокое обучение

Decoding EEG Brain Activity for Multi-Modal Natural Language Processing

March 30

До сегодняшнего дня поведенческие характеристики человека при чтении текста представляли интерес в основном для изучения когнитивных функций мозга. Однако сигналы мозга при чтении, детектируемые на ЭЭГ, могут также использоваться в машинном обучении для NLP. Использование частотных сигналов мозга на ЭЭГ не исследовалось ранее в контексте машинного обучения для работы с текстом. В данной статье предложено мультимодальная архитектура, на вход которой совместно подается текст и фичи извлекаемые из ЭЭГ. Для множества word embedding types подмешивание данных ЭЭГ улучшает вторичную и третичную классификацию тональности, а также превосходит некоторые бейзлайн решения. Данный подход выглядит многообещающим методом обучения в условиях ограниченного обучающего датасета.

Докладчик: Ольга Лаврик.

Язык доклада: русский.

Дата и время: 30 марта, 18:30.

https://us02web.zoom.us/j/217320533?pwd=TzllQzNld1ExUVJUdENXdzZsblBhUT09

Meeting ID: 217 320 533

Passcode: 021675