Исследователи разработали интерфейс мозг-компьютер, который позволил женщине с тяжелым параличом в результате инсульта ствола головного мозга говорить через цифровой аватар. Ученые имплантировали в мозг женщины электроды, которые регистрируют ее мозговые сигналы, и разработали алгоритмы машинного обучения, которые преобразуют эти сигналы в речь и эмоции аватара. Результаты исследования опубликованы в журнале Nature.
Интерфейс мозг-компьютер, или ИМК, позволяет человеку управлять компьютером или другими устройствами только с помощью мыслей, минуя физические действия. Для этого на мозг пользователя устанавливаются электроды, которые регистрируют его электрическую активность. Затем с помощью алгоритмов обработки сигналов эта активность переводится в команды, которые компьютер или другое устройство выполняет. ИМК имеет широкий спектр применения. В медицине он может быть использован для восстановления двигательных функций у людей с нарушениями нервной системы, таких как травмы спинного мозга или инсульты. Пациенты могут использовать ИМК для управления протезами конечностей или электрическими креслами-колясками.
Восстановление речи с помощью ИМК является одним из перспективных применений этой технологии. Когда человек теряет способность говорить из-за травмы или заболевания, ИМК может быть использован для перевода мыслей, связанных с произнесением слов, в аудио-сигналы. Однако существуют определенные сложности, которые связаны со скоростью и точностью декодирования слов при обработке мозгового сигнала.
Исследователи имплантировали тонкий, как бумага, прямоугольник из 253 электродов на поверхность мозга женщины, которая пережила инсульт, в области, которые, как обнаружила команда, имеют решающее значение для генерации речи. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, дошли бы до мышц языка, челюсти и гортани, а также до мимических мышц лица. Кабель, подключенный к порту на голове женщины, соединял электроды с блоком компьютеров. В течение нескольких недель участница вместе с командой обучала алгоритмы искусственного интеллекта распознавать уникальные сигналы ее мозга для генерации речи. Работа включала в себя повторение различных фраз из разговорного словаря, состоящего из 1024 слов, снова и снова, пока компьютер не распознавал модели активности мозга, связанные со звуками. Чтобы создать голос, команда разработала алгоритм синтеза речи. Его ученые настроили так, чтобы он звучал как голос женщины до травмы. Для этого исследователи использовали запись ее выступления на свадьбе. Команда также создала анимированный аватар с помощью программного обеспечения, которое имитирует и анимирует движения мышц лица, разработанного Speech Graphics, компанией, которая занимается анимацией лица на основе искусственного интеллекта.
Ученым удалось создать систему, которая может декодировать мозговые сигналы в текст со скоростью почти 80 слов в минуту. Это значительный прорыв по сравнению с предыдущими достижениями технологий. Команда исследователей достигла этого результата благодаря тому, что их алгоритмы позволяли декодировать слова из фонем, минимальных смысловых единиц языка. Используя этот подход, компьютеру нужно было выучить всего 39 фонем, чтобы расшифровать любое слово на английском языке. Это одновременно повысило точность системы и сделало ее в три раза быстрее. Помимо этого, исследователи создали индивидуальные процессы машинного обучения, которые позволили обрабатывать сигналы, посылаемые из мозга женщины, когда она пыталась говорить, и преобразовывать их в движения на лице созданного аватара. Это позволило челюстям открываться и закрываться, а губам выдвигаться, а также повторять движения лица при счастье, печали и удивлении. В результате женщина с тяжелым параличом из-за инсульта ствола головного мозга смогла общаться через аудио-сигналы компьютера, а также управлять мимикой цифрового аватара.
Этот прорыв в исследовании ИМК может повлиять на жизнь людей, страдающих от потери способности говорить. Разработанный интерфейс мозг-компьютер позволяет переводить сигналы мозга в речь и выражения лица, используя цифровой аватар. Это открывает возможности для восстановления коммуникации и улучшения качества жизни для людей с тяжелыми параличами. Важным следующим шагом для команды является создание беспроводной версии устройства, которая не потребует от пользователя физического подключения к ИМК. «Предоставление людям возможности свободно управлять своими аватарами и общаться, с помощью собственных компьютеров и телефонов, окажет глубокое влияние на их независимость и социальное взаимодействие», — пишут авторы исследования.
Автор: Дария Пляченко.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
