Ученые предложили принципиально новую архитектуру скрытого слоя для резервуарных нейросетей, которые помогают прогнозировать поведение сложных систем, например, погодных явлений и нервных клеток. Вместо случайных связей авторы построили резервуар из плотно связанных групп искусственных нейронов и изолированных узлов. Такой подход в разы уменьшил ошибку прогноза, в десятки раз сократил число необходимых соединений и сделал алгоритм менее чувствительным к случайному выбору структуры нейросети. Это открывает путь к созданию компактных и энергоэффективных резервуарных компьютеров для медицины, климатологии и промышленности. Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале Chaos.
Многие природные и инженерные системы — от погоды и активности мозга до управляющих контуров в электронике — демонстрируют сложное, нелинейное поведение, прогнозировать которое традиционными методами крайне трудно. Для таких задач все чаще применяют резервуарные вычисления — класс нейросетей, где обучается только выходной слой, а внутренняя структура (резервуар) остается фиксированной. Это делает алгоритм быстрым и нетребовательным к вычислительным ресурсам.
Однако в скрытом (базовом) слое классических резервуаров, на котором строятся все операции, нейроны связаны между собой случайными связями, то есть хаотично. Из-за этого качество предсказаний сильно зависит от конкретной реализации связей: даже при одних и тех же настройках одна случайная сеть может работать отлично, а другая — плохо. Кроме того, избыточное количество связей усложняет физическую реализацию таких систем, особенно на интегральных схемах.
Ранее исследователи из Российского экономического университета имени Г.В. Плеханова (Москва) и Саратовского национального исследовательского государственного университета имени Н.Г. Чернышевского (Саратов) в рамках междисциплинарного проекта РНФ, выполняемого в Национальном исследовательском университете «Высшая школа экономики» (Москва), усовершенствовали работу алгоритма резервуарных вычислений, изменив метод подачи данных так, чтобы нейросеть могла автоматически подстраиваться под временные масштабы сигнала. Это можно сравнить с настройкой микроскопа на нужное увеличение, чтобы разглядеть как общую картину, так и мелкие детали.
В новой работе исследователи из РЭУ имени Г.В. Плеханова в рамках проекта РНФ по поддержке лабораторий мирового уровня предложили кардинально перестроить сам резервуар, чтобы дополнительно повысить его точность. Исследователи внесли изменения в архитектуру алгоритма — своего рода «мозг» нейросети. Вместо случайных связей ученые организовали упорядоченную систему из блоков — плотно связанных групп искусственных нейронов (например, треугольников или тетраэдров) — и отдельных изолированных узлов, не соединенных друг с другом. Такая упорядоченная структура оказалась гораздо эффективнее.
Ученые сравнили резервуары с обычными связями и блоками из трех (треугольники), четырех (тетраэдры) или пяти (пентаэдры) элементов при решении трех сложных задач: прогнозировании нейронной динамики, предсказании математических систем, описывающих динамику атмосферы и химические реакции, а также восстановлении скрытых сигналов электроэнцефалограммы (ЭЭГ).
Результаты показали, что переход от случайных связей к системе из четырех блоков искусственных нейронов позволяет в четыре раза уменьшить ошибку прогноза. При этом число блоков (и, соответственно, связей), необходимых для достижения заданной точности, сокращается примерно в 30 раз. Кроме того, резервуары, состоящие из блоков, оказались гораздо менее чувствительны к случайному выбору начальной конфигурации нейросети — их производительность оставалась стабильно высокой, что упрощает их настройку при практических применениях.
«Наша архитектура не просто улучшает существующие алгоритмы — она меняет сам принцип организации вычислительного ядра резервуарного компьютера. Мы показали, что использование даже одного правильно подобранного тетраэдра вместе с изолированными нейронами дает точность, сравнимую с плотными случайными сетями, но при несравнимо меньших затратах на связи. В ближайшее время мы планируем адаптировать этот подход для работы с большими многоканальными данными (например, записями ЭЭГ высокой плотности или массивами датчиков) и разработать практические руководства по проектированию резервуарных компьютеров на основе блоков из искусственных нейронов для реальных приложений — от портативных нейроинтерфейсов до предиктивной аналитики в энергосистемах. Кроме того, мы намерены изучить возможность реализовать физическое воплощение таких структур, где ограниченная связность имеет решающее значение», — рассказывает руководитель проекта, поддержанного грантом РНФ, Александр Храмов, доктор физико-математических наук, директор Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
