— На сессии «Открытых инноваций» о восприятии обществом цифровых технологий, в которой вы участвовали, обсуждались в основном опасения людей по поводу возможного неэтичного использования персональных данных. О каких еще сторонах страха перед технологиями можно говорить?

— Люди боятся новизны как таковой. Да, она вызывает и другие эмоции, обещает светлое будущее, например. Но новизна всегда вызывает и страх или по меньшей мере подозрение. Это общее свойство любых новых технологий, не только цифровых. Мы можем проследить нечто подобное как минимум начиная с появления железных дорог в 1840-х годах. Поэтому искать за страхом рациональные основания, как будто человек проанализировал ситуацию и решил «вот это страшно», не всегда имеет смысл. Конечно, есть люди — рациональные агенты, которые попытались вникнуть в работу технологий, поставили перед собой вопрос, хотят ли отдавать данные. Но большинство пользователей не рассуждают, не пытаются взвесить «за» и «против», не вычисляют риски или пользу. Они просто эмоционально реагируют на новизну.

— Что может вызвать особенно негативную эмоциональную реакцию?

— Для разных стран можно привести много примеров. Возьмем те же приложения для отслеживания контактов и цепочек заражения, о которых я говорил на сессии. В первые месяцы эпидемии три европейские страны — Германия, Франция и Великобритания — решили разработать свои собственные протоколы для этой задачи. Но Google и Apple крайне усложнили, даже заблокировали их работу на своих устройствах, а затем предложили свой протокол, разработанный совместно этими двумя компаниями — это чуть ли не первый случай в истории, когда для разработки совместного решения объединились интернет-гиганты, которые в остальном друг с другом конкурируют. Все страны, кроме Франции, отказались от собственных протоколов и перешли на стандартный от Apple и Google. Во Франции, как оказалось, большинство пользователей ему не доверяют. Почему? Пользователь, естественно, не понимает ничего в том, как работают разные протоколы отслеживания, но он слышал слова — это Google и Apple, это разработка не нашего правительства. Многие пользователи в этой ситуации не доверяют американским технологическим компаниям и готовы отдавать персональные данные только своим суверенным, национальным банкам данных.

Похожая история происходит сегодня с медицинскими данными во Франции. Они собираются в национальный банк, и уже два года как контракт на сбор и обработку этих данных подписан французским правительством с Microsoft. В последние месяцы развернулась настоящая баталия за суверенитет медицинских данных, за то, что они должны храниться и обрабатываться только в Европе. Слово «Microsoft» в этой баталии превратилось просто в имя дьявола. В России, как мы знаем, этот вопрос решен на законодательном уровне — данные должны храниться внутри страны, а в Европе такие дебаты о цифровом суверенитете в разгаре.

— Вы уже упомянули, что люди всегда боятся новых технологий. Но можно ли сказать, что случай с искусственным интеллектом — это первый раз в истории, когда техническая система имеет (или ей приписывают) возможность принимать решения?

— И да, и нет. В массовом воображении это, конечно, далеко не первый раз. Даже про роботов и искусственный интеллект в 1960-е годы шли те же дискуссии, что и сейчас. Когда слово «робот» появилось в 1920-е, в воображении уже жили легенды о големах, о чудовище Франкенштейна.

Что меняется в последние годы? Техническая реальность. Действительно появляются автономные системы, которые способны принимать решения — но эта способность не означает, что они везде и всюду принимают решения за людей. Вопрос в том, в каких ситуациях мы реально делегируем этим системам функции по принятию решений. И тут есть некая серая зона. Действительно, беспилотный автомобиль принимает самостоятельно довольно много решений, но у этого есть пределы — их показывает известная «дилемма вагонетки». Похожие проблемы встают в связи с применением военных дронов — могут ли они принимать решения об убийстве? Эти технические ситуации новы, но этические проблемы за ними — нет. В начале XX века о самолетах шли абсолютно такие же дебаты, как о дронах сегодня: самолет убивает на расстоянии, пилот до изобретения ПВО находился в безопасности. Не только в военной, но и в других сферах применения автономных систем возникает новая техническая реальность. Например, должен ли в юриспруденции чатбот, созданный в помощь судье, спрашивать подтверждения у оператора, прежде чем вынести вердикт? Как сделать так, чтобы судья не выносил приговор только на основании того, что сказал чатбот, а обязательно подумал бы сам? Это новая ситуация, но, как и в других случаях, я бы не сказал, что этические проблемы за ней такие уж невиданные, что их никто и вообразить не мог. Вообразить точно могли.

Новости о том, что какая-то система искусственного интеллекта в юридической, HR, медицинской сфере демонстрирует предубеждения, по-разному судит людей разной национальности или пола, появляются регулярно. Можно ли в принципе сделать такие системы непредвзятыми?

Начнем с того, что и люди всегда принимают предвзятые решения — просто не всегда об этом знают сами. Есть известный красивый пример о принятии решений судьями в течение дня. Была проведена четкая корреляция между строгостью приговора и временем, когда судья его вынес. Начиная с утра и к обеду решение становится более и более жестким, потому что судья все более голодный, а после обеда решения смягчаются. Пока эту закономерность не нашли, никто и не думал, что такое предубеждение есть.

Системы искусственного интеллекта учатся на человеческих решениях и поэтому тоже будут иметь предубеждения, в том числе те, которых мы не замечаем у людей. Плюс в том, что они всегда, по построению работают, исходя из корреляций в данных. Это значит, что они найдут не только те корреляции, которые для нас очевидны, но и те, о которых мы не задумываемся, как между временем до обеда и строгостью приговора. И когда эти предубеждения становятся явными, против них уже можно принимать меры. Мы можем их исправлять, вносить корректирующие фильтры, чего с человеком не сделаешь.

— Значит, задача разработчиков в том, чтобы отслеживать, какие корреляции находит система, и отслеживать не только знакомые, но и такие новые?

— Есть и более сложная задача. Корреляцию вы можете найти, но не будете знать, что она значит. Самое интересное — ее объяснить, это называется проблемой объяснимости машинного обучения. Это сложный момент — вы что-то нашли в модели, оно вроде бы работает, но что оно значит, как придать этому смысл — непонятно. И эту проблему машина за нас не решит, потому что про смысл она ничего не знает.

— В Европарламенте несколько лет назад всерьез обсуждали наделение роботов юридическими правами. Какие были аргументы за? Какой статус роботов представляется более целесообразным вам?

— Основной аргумент адвокатов создания отдельного типа юридического лица был связан с юридическими коллизиями, которые возникают, когда робот создает конфликт. Например, беспилотный автомобиль может спровоцировать аварию; робот в больнице, который приносит бабушке лекарство, может прищемить ей палец или задеть ее и так далее. Кто должен нести ответственность в таких случаях? Тот, кто создал систему? Но автономная система действует не по указке своего создателя-программиста, она учится, на то она и автономная. Поэтому нельзя сказать, что создатель запрограммировал систему так, что случилась авария. Он не несет ответственности за эту конкретную аварию, он не хотел, чтобы она случилась, у него не было интенции ее спровоцировать. Говорить, что виноват пользователь, тоже странно — он вообще ничего не знает о технической системе, только пользуется конечными результатами. Получается, намерения спровоцировать конфликт не было ни у кого. Кто тогда должен нести ответственность? Некоторые юристы сказали — пусть робот будет юридическим лицом со своим счетом в банке, туда будут поступать деньги от использования робота. Если из-за этого робота возникнет конфликт, с этого счета и спишутся деньги в пользу потерпевших. Этот аргумент вовсе не глуп, но на самом деле такое действие не требует создания какого-то нового типа лица. Тут важно понять, что робот — не свободное существо. Да, он обладает некоторой автономией, действует так, как выбирает сам. Но свободой он не обладает — у него есть функция, цель, и он делает то, что в него внесено программистом, — едет из точки А в точку Б, несет стакан воды. Поэтому я всегда был против специального юридического статуса для роботов и писал об этом в своей книге «Машина-доносчица», которая есть на русском. Робот, действительно, автономный индивид, «цифровая особа», как я это называю, но ни в коем случае не юридическое лицо, потому что никакой свободы действий и никаких интенций у него нет.

Дебаты в Европарламенте в феврале 2017 года действительно были довольно интенсивными, но сошли на нет. Осталось очень мало адвокатов этого странного подхода наделения роботов юридическим статусом. На сегодняшний день дискуссии в Европейском союзе перешли в поле искусственного интеллекта, достойного доверия. Вопрос, как построить систему, чтобы пользователь ей доверял, одновременно и философский, и практический, потому что именно такую цель и ставят все инженеры. Так что от фиктивной темы прав для роботов мы пришли к конкретным практическим проблемам.

— Вашу книгу я, к сожалению, пока не читала, но, судя по вашим лекциям и интервью, вы предлагаете, чтобы в ситуациях, подобных проблеме вагонетки, машина делала выбор случайным образом. Могли бы вы подробнее объяснить эту идею?

— Действительно, основной аргумент в этой части книги о том, что, когда автономная система видит этический или юридический конфликт, она не должна в нем участвовать. Речь не идет о том, что все решения должны приниматься случайно. Но есть определенные пороги, за которыми конфликт для машины неясен, слишком сложен по смыслу. Машина — не моральный агент, не юридическое лицо, не ее дело участвовать в моральных конфликтах. Из поля морального суждения она должна себя изъять, и сделать это можно с помощью случайного выбора. В книге «Машина-доносчица» этот аргумент рассмотрен на примере дилеммы вагонетки, но я лучше приведу вариант без трагедий, в которых умирают люди.

Все знакомы с ситуацией, когда вы пишете в поиске или в почте Google фразу, а он предлагает ее завершить. Это делает приложение Smart Compose. Несколько лет назад в Google начали писать разъяренные пользователи: оказалось, Smart Compose не всегда правильно определяет род существительных и из-за этого ошибается с местоимениями «он/она». Например, во фразах со словами «доктор» или «инженер» программа не знает, «он» это или «она». Google в ответ просто изъял из словаря личные местоимения, изменяющиеся по родам. Теперь программа никогда больше не напишет «how is he/she doing», она использует только «it». Я считаю, что таким образом Google сделал словарь программы менее человеческим. Машина говорит как бы на нашем языке, но не совсем. Эта проблема с дополнением фраз кажется не такой уж значительной, но представьте, что ребенок учится писать или читать, общаясь с чатботом. И этот чатбот в целом говорит на человеческом языке, но некоторые слова никогда не употребляет. И это уже не очень хорошо.

Нужно было, с моей точки зрения (и мы это даже обсуждали с Google, но они настояли на своем), определить порог конфликта, за которым возникает амбивалентность, и за этим порогом выбирать местоимение случайным образом. Пользователю об этом обязательно нужно сообщать где-нибудь внизу маленькими буквами.

— В чем итог такой ситуации для пользователя?

— Функция случайности тут в том, чтобы изъять систему из области морального суждения, чтобы пользователи не думали, что программа — моральный агент, который их обидел. В результате пользователь не будет на машину проецировать ответственность. Эта проекция возникает у нас спонтанно — вы говорите с чатботом на естественном языке, и, даже зная, что это робот, все равно вы будете думать, что он веселится, грустит, говорит что-то странное, будете спонтанно проецировать на него аффекты и состояния. И это работает не только с чатботами — роботам-гуманоидам и другим техническим системам мы тоже приписываем какие-то качества. Но в случае конфликта закончится эта спонтанная проекция на машину ответственности тем, что вы ее выбросите, отвезете на свалку. А через использование случайного мы явно даем сигнал пользователю — не надо проецировать ответственность на систему.

— Получается, связанные с ответственностью отношения продолжаются, но машина в них не участвует?

— Конечно, это не значит, что никто не несет ответственности. Она должна делиться, и в каждом конкретном случае нужно выяснять, как именно ее делить — между производителем, программистом, кто отбирал данные для обучения и пропустил какие-то некачественные. Ответственность нужно делить, но между людьми, между моральными агентами, а не с машиной.