Технологии виртуальной и дополненной реальности давно уже используются не только для развлечения, но и для более серьезных задач. Например, VR- и AR-технологии расширяют возможности медицины, строительства и образования. В 2018 году на базе Дальневосточного федерального университета открылся Центр Национальной технологической инициативы по направлению «Нейротехнологии, технологии виртуальной и дополненной реальности». Об основных направлениях, которые развивают его сотрудники, и о перспективах VR/AR-технологий порталу InScience.News рассказал Григорий Алексанин, директор Центра НТИ по нейротехнологиям, технологиям виртуальной и дополненной реальности.
— Григорий Анатольевич, расскажите об основных направлениях, в которых работает Центр.
— Три основных направления, в которых мы работаем, — это медицина, промышленность и образование. В медицине у нас есть два ключевых продукта. Первый — реабилитационный программно-аппаратный комплекс (РПАК) для пациентов с проблемами опорно-двигательного аппарата. Второй — программный комплекс «Нейровижн». Это комплексное решение на основе технологий компьютерного зрения и машинного обучения, призванное получать информацию, анализировать ее и выставлять оценку о различных неврологических дисфункциях человека.
В сфере промышленности у нас есть проект BIM VR — программа, в которой с помощью виртуальной реальности можно продемонстрировать, как в жизни будет выглядеть какое-либо сооружение. Это существенно упрощает проектирование и строительство зданий.
В образовательной сфере у нас есть целый ряд продуктов, которые в первую очередь предназначаются для школ. Среди них VR-тренажеры по химии, английскому языку и физике. Однако нашими разработками интересуются не только школы, но и вузы, поэтому с ними мы тоже сотрудничаем в этом направлении.
— Какие из этих направлений вы развиваете уже давно, а какие новые? Появились ли за последний год какие-то новые проекты?
— Над проектами в области медицины и образования мы работаем уже несколько лет, а BIM VR стали разрабатывать только в этом году. Мы познакомились с представителями одной строительной компании, узнали у них о тех проблемах, которые на сегодняшний день существуют, и том, как они видят их решение. Далее, ориентируясь на их пожелания, мы создаем продукт, который будет полезен и другим строительным компаниям.
— Какие наиболее удачные проекты и примеры сотрудничества за последний год вы можете назвать?
— Самыми удачными примерами сотрудничества можно назвать наши медицинские проекты. Например, по вопросам реабилитационно-аппаратного комплекса (РПАК) мы сотрудничаем с несколькими медицинскими центрами и белорусской компанией «ВРТЭК», производящей костюмы Teslasuit. В основе комплекса лежит метод биологической обратной связи с применением сквозных цифровых технологий — программного обеспечения с элементами виртуальной реальности и аппаратной части. Это костюм с функцией чрескожной электростимуляция, служащий интерфейсом взаимодействия пользователя в цифровой среде. То есть человек делает упражнения, погружаясь в виртуальную реальность, а программа снимает данные о его движениях и анализирует, правильно ли пациент выполняет задание. При этом костюм током стимулирует определенные группы мышц, для того чтобы реабилитация проходила быстрее и успешнее. В прошлом году мы завершили клинические исследования костюма, и они доказали его эффективность, поэтому сейчас мы занимаемся его регистрацией в качестве медицинского изделия. Я надеюсь, что в этом году мы завершим этап регистрации и РПАК можно будет выпускать на рынок. Сейчас он используется в рамках апробации в медицинском центре Дальневосточного федерального университета и в Башкирском государственном медицинском университете.
— Какая должна быть продолжительность тренировок в костюме, чтобы ускорить реабилитацию?
— Это зависит от состояния пациента. Продолжительность тренировок определяет врач. Главное отличие все-таки заключается в том, как организован процесс реабилитации без РПАК и с ним. Без нашего комплекса пациент приходит на реабилитационные процедуры, врач ему рассказывает, как их проходить и следит за правильностью выполнения, после чего делает выводы об изменениях в клинической картине. Далее врач отпускает пациента до следующей процедуры, и, в зависимости от динамики восстановления, пациент либо проходит дополнительные упражнения, либо программа его лечения корректируется. Комплекс же помогает врачу более точно определить, правильно или неправильно выполняются упражнения, поскольку программа оценивает это автоматически. А стимуляция мышц электродами в костюме позволяет ускорить реабилитацию, по нашим оценкам, примерно на 20%.
— Вы разработали «Цифровой портрет» нейродегенеративных заболеваний. Какие закономерности вам удалось обнаружить при помощи этой разработки? Поделитесь некоторыми статистическими данными.
— Идея проекта — создание цифровой среды, позволяющей собирать данные в режиме реального времени о состоянии пациента и окружающей его среды в медицинском учреждении и вне его. За счет сбора большого датасета приложение дает рекомендации врачу о прогнозах развития болезни у пациентов на основе анализа видеозаписей выполняемого ими комплекса упражнений и данных обследований.
Хронические нейродегенеративные заболевания могут начинаться за много лет до появления клинических проявлений, которые позволяют сначала поставить предварительный диагноз, а потом через какое-то время спустя непосредственно подтвердить заболевание. Для постановки окончательного диагноза требуется проведение многократных диагностических тестирований и клинических исследований. Заполнения каждого теста требует длительного времени, в среднем от 30 мин до 1 часа.
В текущих условиях медицинскому учреждению из-за дефицита специалистов необходимо ограничивать плановый прием пациентов, 1–2 приема в год на одного пациента, что является существенным ограничением и зачастую препятствует своевременной коррекции лечения.
Существует и другая проблема — наблюдение и лечение таких пациентов, а это преемственность. Например, в 2011 году было показано, что несогласованность оценки между четырьмя специалистами, смотревшими видеозаписи теста, составила 40–50%.
Разработанное решение поможет отслеживать изменения состояния пациента в режиме реального времени, а разрабатываемые технологии ИИ призваны помочь специалисту своевременно реагировать на малейшие изменения в состоянии пациента и проводить коррекцию терапии. А также применение цифровых технологий позволит объективизировать и стандартизировать результаты обследования пациентов.
— На каких данных происходило обучение нейросети? Это были данные российских пациентов, предоставленные больницами?
— Да, это данные российских пациентов, собираемые в клиниках, с которыми мы сотрудничаем.
— Какие успехи у вас в образовательной области? Одной из ваших задач было внедрение в учебный процесс VR-приложений. Сколько учреждений уже оснащено вашими разработками? Когда, по вашим оценкам, можно будет внедрить их во все школы России?
— У нас есть несколько VR-тренажеров, которые мы внедрили более чем в 30 школ и некоторые вузы, например в Московский педагогический государственный университет и Ставропольский государственный аграрный университет, МГУ имени Ломоносова и еще несколько других. Сейчас ведем переговоры с ИТМО и Российским технологическим университетом (МИРЭА). VR-тренажеры показывают себя хорошо, школы оказались довольны, но мы поняли, что недооценили значимость кастомизации. Когда мы ставим тренажер, каждая школа хочет, чтобы мы слегка адаптировали его именно под нее, то есть интегрировали с теми программами, которые у нее есть, позволили бы учителю по-своему нашу систему настраивать. То есть, чтобы внедрять этот проект повсеместно, требуется его доработать именно в плане кастомизации. Еще одна вещь, которая мешает повсеместному внедрению VR-тренажеров, — это их высокая стоимость и ограниченное количество на рынке.
— Есть ли спрос на ваши разработки у иностранных клиентов?
— Сейчас у нас не такие активные связи с иностранными клиентами, как было некоторое время назад, поэтому говорить о спросе с их стороны, наверное, сейчас преждевременно.
— А планируете ли в будущем развивать международное сотрудничество, находить какие-то новые сферы деятельности и новые направления?
— Да, конечно, мы изначально ориентировали свои продукты на глобальный рынок в том числе. Как только возможность выйти на глобальные рынки появится, мы сразу же ею воспользуемся.
— Какие комплектующие, например, микроэлектронные компоненты, вы используете в своих разработках? Они отечественного или зарубежного производства?
— VR-шлемы, в основном, все зарубежного производства. Костюм, который используется в РПАК, белорусского производства, но мы ищем варианты российских комплектующих. «Нейровижн» — это просто программный комплекс, поэтому для него не требуется никакое специфическое оборудование, кроме компьютера и камеры. Продукты в сфере строительства — это тоже программное обеспечение, но оно работает на VR-шлемах иностранного производства. Мы следим за тем, какая ситуация сейчас с производством VR-шлемов в России. На данный момент серийных образцов отечественного производства на рынке нет, есть только несколько разработок, и мы надеемся, что они будут масштабироваться. Тогда мы сразу же начнем их осваивать.
— Повлекли ли санкции сложности с комплектующими?
— Так как мы — центр разработки, санкции серьезных проблем не повлекли, ведь нам нужны всего единицы товара. Поскольку мы специализируемся на дополненной реальности, у нас есть потребность в VR-шлемах. В России, как я уже сказал, их пока не производят. Есть китайские предложения: некоторые из них подпадают под санкции, некоторые нет. В целом можно сказать, что поставки усложнились, но не стали невозможными. Что касается реабилитационных комплексов по медицине, то здесь ситуация лучше. Производство можно организовать на территории России и Белоруссии, и мы не видим пока серьезных препятствий.
— Известно, что Центр, помимо разработки VR/AR технологий, предлагает своим клиентам обучение работе с этими продуктами. Расскажите, как построен этот процесс.
— У нас есть образовательная программа, которая рассказывает не только о наших продуктах, но в целом о дополненной и виртуальной реальности. Чтобы человек работал с продуктами виртуальной реальности, он должен понимать, что это такое и какие есть нюансы. Например, в этом году запущен онлайн-курс на платформе Stepik «Применение VR- технологий в школьном образовании». Это курс о применении технологий виртуальной реальности в школьном образовании. Курс включает в себя краткую историческую справку о VR, описание необходимого для VR оборудования, конкретные примеры VR-приложений для школьных предметов, методические вопросы их применения и планирования урока с применением VR-технических средств обучения.
— Как в целом изменилась за прошедшие пять лет индустрия виртуальной и дополненной реальности?
— Конечно, наблюдается рост, поскольку еще пять лет назад основной проблемой было то, что VR-шлем не мог быть автономным, дешевым и производительным. Сейчас такие шлемы появились, и они по этим трем важным направлениям развиваются довольно динамично, как и другая компьютерная техника.
— Какие новые сферы применения этим технологиям могут появиться через пять лет?
— Направление, в котором VR сейчас активно развивается, — это обратная связь. То, чего на самом деле сильно не хватает и над чем многие работают. Например, вы надели VR-шлем и попали в виртуальный мир, берете в нем какой-либо предмет, но на самом деле вы же ничего не берете, а хочется это почувствовать. Сейчас есть самые разные варианты решения этой проблемы — от бюджетных, когда, например, ассистент просто подает предмет, до более продуманных, таких как специальные перчатки, которые электрическими импульсами дают эту обратную связь. Конечно, это не полноценное ощущение, но все-таки можно почувствовать, что ты что-то взял. Сейчас такие перчатки существуют в виде очень дорогих опытных образцов, но со временем технология будет дешеветь, и через пять-десять лет перчатки будут обычным гаджетом к VR-шлему, который каждый сможет себе приобрести. Еще одна проблема, связанная с VR, — это перемещение. Опять же, в виртуальном мире, например, нужно войти в дверь, и, если вы будете идти в нее просто ногами, то вы же будете идти и в реальном мире тоже. Там можно упереться в стену, споткнуться и упасть. Сейчас в качестве решения предлагают использовать что-то вроде телепорта. Человек в руке держит контроллер, нажимая который, он мгновенно перемещается в виртуальной реальности за дверь. Но это не позволяет полностью погрузиться в виртуальный мир. Есть другой вариант — специальная вращающаяся и скользящая арена, на которой располагается человек, привязанный поясом к центру. Благодаря этому он может бежать, оставаясь при этом на месте. Такая конструкция тоже очень дорогая, и, кроме того, она еще и очень громоздкая. Идет поиск новых решений, но пока каких-то достойных идей не предложили.
— В целом как вы оцениваете уровень развития этих технологий в России по сравнении со всем миром? Что необходимо сделать для ускорения роста развития этих технологий в РФ?
— В России эти технологии сейчас развиты слабо, и для того, чтобы их развить, нужно решить проблему производства микроэлектроники. Это огромная и очень сложная проблема. Сейчас государство прикладывает серьезные усилия для того, чтобы ее преодолеть. Как раз это останавливает нас на пути к производству собственных VR-шлемов. Но перчатку с обратной связью вполне возможно собрать в России уже сейчас. Это сложная наукоемкая задача, но она решаема.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
