Ученые разработали алгоритм машинного обучения, который повысил точность и удобство управления компьютером с помощью взгляда. Авторы протестировали инструмент на игре EyeLines, в которой нужно создавать комбинации из шаров на игровом поле, и установили, что алгоритм в три раза снижает риск ложных срабатываний системы управления взглядом и позволяет пользователям играть, не проигрывая, на 15% дольше, чем при использовании обычной системы управления взглядом. Разработка будет полезна для развития технологий виртуальной и дополненной реальности, а также в системах управления компьютерами, адаптированными для людей с ограниченными возможностями движения. Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале IEEE Access.
Управление с помощью взгляда — технология, все чаще используемая человеком для взаимодействия с компьютером, в частности, в системах виртуальной и дополненной реальности. Однако наиболее актуальна и полезна она для пациентов с нарушением двигательных функций. В России люди с ограниченными возможностями пользуются инструментами управления с помощью взгляда довольно редко, хотя в мире опыт их применения уже довольно большой. Тем не менее у этой технологии есть существенный недостаток — она не всегда корректно различает, когда пользователь с помощью взгляда хочет дать какую-то команду, или когда он просто смотрит на изображение на экране. В результате либо часто происходят ложные срабатывания, сильно мешающие пользователю, либо ему приходится постоянно выполнять дополнительные действия для подтверждения своих намерений, что также затрудняет использование технологии.
Исследователи из Московского государственного психолого-педагогического университета определили: когда задержки взгляда намеренно используются для управления, их характеристики отличаются от случайных задержек взгляда. Благодаря этому авторам удалось подобрать алгоритм машинного обучения, который разделял слегка удлиненные задержки взгляда (500 миллисекунд и более), намеренные (управляющие) и спонтанные (зрительные).
Чтобы отличить намеренные задержки от спонтанных, алгоритм использовал два отдельных классификатора. Первый опирался на особенности микродвижений глаз, второй — на признаки, описывающие контекст игры (например, текущее расположение объектов и потенциальные возможности для совершения ходов). Окончательное решение о том, намеренно или случайно пользователь остановил взгляд, принималось на основе усредненного значения вероятностей, вычисленных обеими моделями.
Авторы протестировали алгоритм, применив его в игре EyeLines. Игра была разработана исследовательским коллективом на основе популярной когда-то компьютерной игры Lines («Линии») специально для исследований управления с помощью взгляда. В этой игре взгляд используется для выбора цветных шаров и позиций для их перемещения на игровом поле. Ученые предложили сыграть в EyeLines 15 добровольцам, при этом участники тестировали два режима игры: со стандартным управлением (где любая задержка взгляда длительностью более 500 миллисекунд воспринималась как команда к действию) и с усиленным новым алгоритмом машинного обучения.
Участники исследования должны были с помощью управления взглядом сформировать на игровом поле линии из четырех и более одинаковых по цвету шаров. После успешного составления линии она исчезала, в противном случае на поле случайным образом добавлялись новые шары. Игра завершалась при заполнении поля либо по истечении восьми минут.
Эксперимент проводили в течение двух дней. Каждый день испытуемые играли по три игры в каждом режиме. В первый день ученые использовали классификаторы, предварительно обученные на данных предыдущих исследований. Во второй день применяли индивидуальные модели, обученные на данных, собранных в ходе первого дня.
Эксперимент показал, что при использовании машинного обучения система управления взглядом в три раза реже срабатывала ошибочно (то есть воспринимала случайную остановку взгляда за намеренную). Это позволило участникам исследования эффективнее взаимодействовать с игрой.
В обоих режимах игры — стандартном и улучшенном с помощью машинного обучения — участники перемещали и удаляли шарики с поля с одинаковой скоростью, однако улучшенный подход позволял испытуемым выполнять меньше действий для удаления того же количества шаров и играть примерно на 15% дольше. То есть в этом случае меньше игр заканчивались преждевременно из-за заполнения игрового поля шарами.
«Подобные исследования проводились и раньше, но в очень упрощенных условиях, где искусственно создавались значительные различия между намеренными и спонтанными задержками взгляда. В нашем исследовании впервые показано, что такие задержки можно успешно различать и в условиях, близких к тем, в которых технология используется на практике. Кроме того, мы экспериментально доказали, что повысить точность распознавания намеренных задержек взгляда можно, если дополнительно учитывать контекст действий пользователя. Полученные результаты открывают новые перспективы для широкого применения управления взглядом не только пациентами с двигательными нарушениями, но и здоровыми людьми, например, использующими виртуальную или дополненную реальность», — рассказывает руководитель проекта, поддержанного грантом РНФ, Сергей Шишкин, кандидат биологических наук, ведущий научный сотрудник Научно-образовательного центра нейрокогнитивных исследований (МЭГ-центра) Московского государственного психолого-педагогического университета.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
