Сотрудники Сколтеха вместе с французскими и японскими коллегами протестировали алгоритмы с машинным обучением и обнаружили, что программы могут определять умственную нагрузку и аффективные состояния людей. Результаты работы опубликованы в журнале IEEE Systems, Man, and Cybernetics.

Интерфейс мозг-компьютер (ИМК) связывает живой мозг человека с неорганическими вычислительными устройствами. Уже сегодня ИМК позволяет людям управлять искусственной рукой или инвалидным креслом, а также отслеживать и классифицировать психоэмоциональные состояния. Сигналы мозга, поступающие в ИМК, как правило, измеряют при помощи электроэнцефалографии (ЭЭГ) — неинвазивного метода измерения электрической активности мозга.

В ЭЭГ используются «сырые» данные в виде непрерывных сигналов. Их хорошо обрабатывают, прежде чем по ним можно будет точно определить умственную нагрузку и аффективные состояния человека. На сегодня у исследователей имеет достаточно экспериментальные данных о том, что точность этих измерений не позволяет решать даже простые задачи, такие как определение различий между высокой и низкой умственной нагрузкой. Это не позволяет использовать такие методы на практике.

«Такая низкая точность измерений обусловлена чрезвычайно сложным устройством человеческого мозга. Представьте себе, что наш мозг — это огромный оркестр, в котором участвуют тысячи инструментов, а нам нужно при помощи ограниченного числа микрофонов и датчиков выделить характерное звучание каждого отдельного инструмента», — объясняет один из авторов статьи, профессор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE) Анджей Чихоцкий.

Российские ученые решили создать более точную и эффективную программу для такой цели. Авторы рассмотрели две группы алгоритмов с машинным обучением — классификаторы на основе римановой геометрии (RGC) и сверточные нейросети (CNN), которые уже использовались в активных ИМК. Ученые решили выяснить, справятся ли эти алгоритмы не только с воображаемыми двигательными задачами, в которых испытуемый представляет в своем воображении определенные движения конечностей, в реальности не совершая их, но и с задачами оценки умственной нагрузки и аффективных состояний.

Для этого исследователи сравнили семь алгоритмов, два из которых они создали сами на основе римановых алгоритмов. В одном из двух экспериментов исследователи использовали типичную для ИМК схему, в которой программы сначала обучали на данных об определенном испытуемом, а затем на нем же и тестировали. Во втором эксперименте привязки к испытуемому не было. Пройти такое «испытание» было сложнее, ведь у каждого мозг работает индивидуально.

В результате авторы показали, что глубокая нейросеть обходит все остальные алгоритмы и наиболее точно оценивает умственную нагрузку. Однако такой алгоритм плохо справляется с классификацией эмоциональных состояний. С другой стороны, два алгоритма с римановой оптимизацией решают обе задачи на среднем уровне. Согласно результатам работы, пассивный ИМК не совсем годится для классификации аффективных состояний. Он лучше подойдет для оценки умственной нагрузки.

«На следующих этапах исследования мы планируем использовать более сложные методы на основе искусственного интеллекта (ИИ) и, в первую очередь, методы глубокого обучения, с помощью которых можно выявлять самые незначительные изменения в сигналах и паттернах мозга. Глубокие нейронные сети можно обучать на больших наборах данных, содержащих информацию о большом количестве испытуемых, различных тестовых сценариях и условиях испытаний. Искусственный интеллект, создание которого стало настоящей революцией, может оказаться весьма полезным для ИМК и решения задач распознавания человеческих эмоций», — говорит Анджей Чихоцкий.