Ученые из Института AIRI и Сколтеха предложили новый подход к решению обширного класса сложных вычислительных задач на основе оптимального транспорта (ОТ), повсеместно применимых в машинном обучении и математическом моделировании. Метод позволит ускорить обучение моделей от 3 до 10 раз. Исследователи представят разработку в Ванкувере в ходе NeurIPS 2024, одной из крупнейших мировых ИИ-конференций, сообщает пресс-служба Института AIRI.
Методы оптимального транспорта сегодня все чаще используются при обучении генеративных моделей для синтеза искусственных данных, например изображений или текстов. Еще одно значимое применение — адаптация моделей к данным из новых источников, что особенно актуально в медицине, где работа часто связана с небольшими и разрозненными выборками. Однако существующие методы решения задач ОТ при помощи нейросетей сталкиваются с рядом проблем, таких как высокая нестабильность обучения и необходимость сложных промежуточных преобразований.
Ключевым преимуществом предложенного учеными метода, реализованного на фреймворке JAX и получившего название ENOT, стало внедрение энтропийной регуляризации. Это позволило достичь значительного ускорения вычислений — от 3 до 10 раз — и улучшения целевых метрик качества работы моделей. Первоначально эксперименты проводились на двумерных данных, а позднее метод был протестирован на задачах генерации изображений, переносе стиля и реконструкции трехмерных объектов, что подтвердило его универсальность.
«Предложенный нами метод — самый быстрый и точный на сегодняшний день. Что касается практического применения, то задачи оптимального транспорта мультидисциплинарны, поэтому он может применяться в самых разных областях. В частности, мы применяли его для обучения имитации — когда эксперт показывает определенные действия, агент пытается имитировать поведение, и система оценивает, насколько действия агента похожи на действия эксперта. Примером может служить урок танцев, когда преподаватель показывает движение, а ученик пытается его повторить», — объяснил Назар Бузун, руководитель группы «Обучение представлений» лаборатории «Сильный ИИ в медицине» Института AIRI.
«Несмотря на теоретический формат статьи, в основе метода лежит интуитивно понятная идея — предлагается "стягивать" генерируемое к ожидаемому. Мне кажется, сегодня в нашей области слишком много "черных ящиков". Конечно, десятикратное ускорение — это весомый аргумент, но я думаю, что рецензентам NeurIPS наш метод понравился именно своей интуитивностью», — отметил директор лаборатории «Сильный ИИ в медицине» Института AIRI и доцент центра технологий ИИ Сколтеха Дмитрий Дылов.
Метод быстро нашел отклик в научном сообществе: принятую на конференцию статью определили в Spotlight — дополнительный трек конференции, в рамках которого авторам лучших работ по версии рецензентов предоставляется дополнительное время для доклада. Кроме того, авторы одного из основных решений по теме ОТ (ott-jax) достаточно быстро имплементировали метод в свою библиотеку.
Материал опубликован в рамках совместного проекта с Национальным центром развития искусственного интеллекта. Подробнее о развитии ИИ в России — на сайте ai.gov.ru.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
