2024 год в истории Нобелевских премий по физике стал очень и очень неожиданным. Возможно, премия этого года — одна из самых далеких от классической физики, потому что за математические работы премии не присуждаются, а за работы, имеющие отношение к нервной системе, Нобелевки присуждались часто в области физиологии или медицины. Тем не менее премия 2024 года оказалась присуждена 91-летнему американцу Джону Хопфилду и 76-летнему британцу Джеффри Хинтону за работы, которые сейчас влияют, наверное, на все области науки — от литературоведения и лингвистики до физики, химии, физиологии и медицины. Премия присуждена «за основополагающие открытия и изобретения, сделавшие возможным машинное обучение на основе искусственных нейронных сетей».
ИИ: первая весна и суровая зима
Если говорить про нейросети и машинное обучение, то история нынешней Нобелевской премии имеет достаточно большую предысторию как в физиологии, так и в кибернетике / компьютерных науках, которая не уложится ни в одну статью, ни — по-хорошему — в одну книгу. Тем не менее если говорить совсем кратко, то в 1940-1950-х годах совпали две вещи.
Во-первых, нейробиологи накопили некий объем данных, который позволил думать, что наука в целом стала понимать, как работает мозг. Есть нейроны, которые генерируют потенциалы действия. Межнейронная передача сигналов осуществляется в синапсах, которые меняют свою силу связи в зависимости от обучения. Это очень грубое представление картины, в которую внесли свой вклад сотни ученых и, наверное, более десяти нобелевских лауреатов — Сантьяго Рамон-и-Кахаль, Чарльз Шеррингтон, Камилло Гольджи, Алан Ходжкин, Эндрю Хаксли, Генри Дейл и Отто Леви… Сейчас мы понимаем, что тогдашняя картина была очень примитивной и во многом неверной, но — что было, то было.
Параллельно появились первые электронные вычислительные машины — компьютеры в нашем понимании и связанная с ними математика.
Вот что написано в релизе Нобелевского комитета: «В 1940-х годах исследователи начали рассуждать о математике, лежащей в основе сети нейронов и синапсов мозга. Еще одна часть головоломки появилась в психологии благодаря гипотезе нейробиолога Дональда Хебба о том, как происходит обучение, поскольку связи между нейронами укрепляются, когда они работают вместе.
Позже за этими идеями последовали попытки воссоздать, как функционирует сеть мозга, путем создания искусственных нейронных сетей в качестве компьютерного моделирования. В них нейроны мозга имитируются узлами, которым присвоены разные значения, а синапсы представлены соединениями между узлами, которые можно усилить или ослабить. Гипотеза Дональда Хебба до сих пор используется как одно из основных правил обновления искусственных сетей посредством процесса, называемого обучением». Отметим, что гипотеза Хебба была сформулирована в 1949 году — а уже в следующем десятилетии начался первый расцвет нейросетей.
Фрэнк Розенблатт. Wikimedia Commons
Здесь, конечно, нужно упомянуть Фрэнка Розенблатта, нейрофизиолога и кибернетика, который в 1957 году и предложил самую первую нейросеть — или кибернетическую модель мозга, которую автор назвал перцептроном. В этой модели были рецепторы — элементы-датчики, ассоциативные элементы и выходы. Таким образом перцептрон позволял создать набор «ассоциаций» между входящими стимулами и реакциями на выходе. Годом позже он опубликовал статью «Перцептрон: Вероятностная модель хранения и организации информации в головном мозге», с которой и начались нейросети.
Схема перцептрона. Wikimedia Commons
Примерно десять лет нейросети бурно развивались и вызывали очень большой интерес, который в том числе держался и на таланте Розенблатта-промоутера. Все ждали прорывов, однако в 1966 году случился большой провал в области машинного перевода, а в 1969 году вышла книга Марвина Минского и Сеймура Пейперта «Перцептроны», в которой авторам удалось показать фундаментальные ограничения возможностей таких нейросетей. Наступило жесткое разочарование, отток денег, гибель карьер… Настало то, что современные историки науки называют «Зимой искусственного интеллекта». Новой весны пришлось ждать до 1980-х, и ключевую роль в ней сыграли в том числе и два физика, лауреаты Нобелевской премии 2024 года.
Ассоциативная память
До 1980-х годов Джон Хопфилд, который уже приближался к своему полувековому юбилею, работал в области применения физики для изучения теоретических проблем молекулярной биологии. Однако когда его пригласили на встречу, посвященную неврологии, он столкнулся с исследованиями того, как работает мозг. Он был очарован тем, что узнал, и начал думать о динамике простых нейронных сетей. Когда нейроны действуют вместе, они могут давать начало новым и мощным сущностям, которые не очевидны для того, кто смотрит только на отдельные компоненты сети.
В 1980 году Хопфилд оставил свою должность в Принстонском университете, где его исследовательские интересы уводили его за пределы областей, в которых работали его коллеги-физики, и переехал на другой конец континента. Он принял предложение стать профессором химии и биологии в Калифорнийском технологическом институте в Пасадене, Южная Калифорния. Там у него был доступ к компьютерным ресурсам, которые он мог использовать для свободных экспериментов и развития своих идей о нейронных сетях.
Тем не менее физику Хопфилд не забросил. В его работах оказалось очень важным знание того, как системы со множеством мелких компонентов, которые работают вместе, могут приводить к новым и интересным явлениям. Ему особенно помогло то, что он узнал о магнитных материалах, которые обладают особыми характеристиками благодаря своему атомному спину — свойству, которое делает каждый атом крошечным магнитом. Спины соседних атомов влияют друг на друга; это может позволить образовываться доменам со спином в одном направлении, что и наделяет материал магнитными