Перспектива гуманоидных роботов всегда манила, пугала и возбуждала – со времен Азимова и до головокружительной мимикрии «Мира Дикого Запада». Некоторые специалисты по робототехнике стремятся найти правильное сочетание металлических костей и пластиковой кожи, позволяющее вырваться из «зловещей долины», то есть избавиться от чувства жути при виде гуманоидного робота, который слишком сильно приближается к человеческим качествам, жестам и повадкам, но при этом не может их полностью воссоздать. Программы машинного обучения уже освоили искусство создания изображений «фейковых людей», а вскоре получат распространение и убедительные синтетические голоса^[20]. Пока инженеры мучаются с тонкой настройкой этих алгоритмов, без ответа остается более важный вопрос: хотим ли мы жить в мире, в котором люди не знают, с кем они имеют дело – с другим человеком или машиной?

Существует принципиальное различие между гуманизацией технологии и подделкой исключительно человеческих качеств. Ведущие европейские специалисты по этике утверждают, что «должны быть (правовые) границы, определяющие, в какой мере людей можно заставлять верить в то, что они имеют дело с людьми, тогда как на самом деле они общаются с алгоритмами и умными машинами»^[21]. Законодатели уже приняли законы об «идентификации ботов» в сетевых контекстах.

Несмотря на этот складывающийся этический консенсус, существуют отдельные области ИИ, например, программирование эмоций, когда анализируются и симулируются человеческие эмоции, задача которых – постоянно усложнять выявление различия между человеком и машинами. Такие исследовательские проекты способны привести к созданию передовых андроидов наподобие тех, что известны по фильму Стивена Спилберга «Искусственный интеллект», в котором машины внешне не отличались от человека. Специалисты по этике спорят о том, как должны проектироваться такие гуманоидные роботы. Но что если их вообще не стоит делать?

В больницах, школах, полицейских участках и даже в производственных цехах мало пользы от загрузки программного обеспечения в гуманоидную форму, а вреда много. Гонка за человекоподобием слишком легко может стать первым шагом на пути к замене человека. Некоторые люди, возможно, предпочтут такую замену в личной жизни, и право должно уважать их автономию в интимных вопросах. Однако безумным было бы общество, стремящееся к такой замене на рабочих местах и в публичной сфере. Подобная идея подменяет развитие человечества его устранением.

Этот аргумент может неприятно удивить или смутить технофилов, поскольку им отрицается содержание и посылка не только законов Азимова, но и обширной литературы о будущем технологий. Я надеюсь оправдать такой консерватизм тем, что последовательно, по главам, продумаю конкретные шаги, которые понадобилось бы сделать, чтобы достичь того научно-фантастического мира, где роботы неотличимы от людей. Для такого перехода необходим массовый контроль людей – и все для того, чтобы создать роботов, призванных дурачить людей или заставлять их относиться к машинам как к равным. Ни та, ни другая перспектива не кажется такой уж привлекательной.

Голос или лицо другого человека требует уважения и внимания; машины не имеют подобных прав на наше участие. Когда чат-боты обманывают ничего не подозревающих людей, которые думают, что они общаются с другими людьми, программисты чат-ботов действуют в качестве фальсификаторов, подделывающих черты реальных людей, чтобы повысить статус своих машин. Когда фальсификация денег достигает критической массы, подлинные монеты теряют ценность. То же самое ждет и человеческие отношения в обществах, которые позволят машинам свободно изображать эмоции, речь и внешний вид людей.

Подделка человека становится особой опасностью в том случае, когда корпорации и государства пытаются придать дружелюбный вид своим услугам и требованиям. Ассистенты Google поразили деловую прессу, изображая секретарей, которые назначают встречи, жутковато подражая даже «мычанию» и «ахам», которыми испещрена обычная беседа по телефону. Подобные междометия маскируют силу таких фирм, как Google, колебанием или уступчивостью, обычно заметными в неотрепетированной человеческой речи. Роботизированный звонок они облекают покровом человеческого запроса. Но тем, кто отвечают на такие звонки, несложно представить, как будет выглядеть злоупотребление – оно станет потоком телефонных вызовов из роботизированных кол-центров.

Подделка человека – не просто обман; она еще и нечестна, поскольку фальсификатор кажется лично заинтересованным и искренним, хотя на самом деле это совсем не так. Как мы сможем показать далее на разных примерах роботов (учителей, солдат, представителей по работе с клиентами и т. д.), неудовлетворенность и стресс при столкновении с неудачными имитациями человека – не просто следствие несовершенной технологии. Скорее в них отражается разумное предостережение об определенном пути развития самой технологии.

Роботизированные системы и ИИ не должны усиливать гонку вооружений с нулевой суммой

Споры о роботах-убийцах крайне важны для этики в международном праве. Глобальная коалиция организаций гражданского общества стремится заставить государства взять на себя обязательство не разрабатывать автономные системы оружия летального действия (АСОЛД (Lethal autonomous weapons systems, LAWS)). Сегодня некоторые факторы блокируют это вполне осмысленное предложение по ограничению технологий. Военачальники не доверяют своим коллегам из стран-конкурентов. Те, возможно, скрывают военные разработки в области ИИ, наращивают силы, публично отрицая при этом свои намерения. Усиливающиеся державы могут самоутверждаться, инвестируя средства в проекты наращивания вооружений, соответствующие их новому экономическому статусу, тогда как господствующие ныне армии требуют дополнительных ресурсов, которые необходимы для поддержания их относительного перевеса. Но это лишь один из способов начать гонку вооружений. Когда на сцену выходят ИИ и роботы, риски отставания от соперников становятся еще более значимыми, поскольку новые технологии обещают быть все более таргетированными, глобальными и быстро развертываемыми.

Политики, отстаивающие дело мира, возможно, будут проповедовать исключительно оборонительную стратегию (что нашло отражение в том, что в 1949 г. американское министерство обороны пришло на смену министерству войны). Тем не менее оборонные средства часто могут использоваться и как наступательные вооружения; достаточно вспомнить об автономных дронах, заточенных на уничтожение ракет, которые, однако, можно перепрограммировать так, чтобы убивать генералов. Соответственно, даже планы обороны могут быть агрессивными, что доказывает пример Стратегической оборонной инициативы (СОИ) Рональда Рейгана. В СОИ, получившей известность как «Звездные войны», должны были использоваться космические лазеры, которые бы сбивали советские ракеты. Если бы эта программа была внедрена, хрупкое равновесие сдерживания (обеспечиваемое гарантированным взаимным уничтожением ядерным оружием) было бы нарушено. АСОЛД, автоматические кибератаки и кампании по дезинформации – сегодня все это грозит подорвать давно сложившиеся ожидания, определявшие цели и границы международного конфликта. Мы должны найти новые способы ограничить их развитие и влияние.

Война поначалу может предстать исключительным положением, во время которого обычные этические аргументы перестают работать (или, по крайней мере, существенно ограничиваются). Однако третий новый закон робототехники применим и за пределами поля боя. Технологии, разрабатываемые в армии, также привлекают полицию, и все больше людей, занятых в области общественного порядка, стремятся использовать распознавание лиц для сканирования толпы в поисках преступников. Опираясь на методы машинного обучения, налоговые органы стремятся выявлять незадекларированные доходы путем анализа электронной почты и банковских счетов всех граждан. Сама возможность столь совершенного надзора заставит людей, обеспокоенных безопасностью, вкладываться в шифрование, которое, в свою очередь, будет подталкивать власти бросать все больше ресурсов на расшифровку.

Нам нужно найти способы сдерживания подобной динамики – и не только в военных и полицейских сценариях. Инвестирование в ИИ и робототехнику часто оказывается частью состязания за определенный набор ресурсов, например, в судопроизводстве, финансах и других областях, где люди конкурируют за позиционные преимущества. Для распределения таких ресурсов государство и корпорации создают для граждан и клиентов репутационные соревнования, в частности рейтингование, которое имеет значение в той мере, в какой позволяет пристыдить определенных людей (с низкими баллами) и превознести других (с высокими). Вначале кредитный рейтинг ограничивался одной областью жизни (определением кредитоспособности) и основывался на ограниченном множестве данных (истории выплат по кредитам). Но спустя десятилетия рейтинги и другие похожие оценки стали определять иные возможности, включая ставки страхования и возможности найма. В последнее время специалисты по сбору информации предложили еще больше источников данных для кредитного рейтинга, начиная с того, как люди печатают на клавиатуре, и заканчивая их политическими взглядами или сайтами, которые они посещают. Китайское правительство значительно расширило задачи подобного контроля, сделав так, что «социальный рейтинг» стал играть роль в определении того, на каких поездах или самолетах гражданин может передвигаться, в каких гостиницах останавливаться и в каких школах могут учиться его дети. Во многих областях Китая расширился объем потенциально используемых данных – начиная с того, как человек переходит улицу, как он относится к своим родителям, и заканчивая степенью его патриотизма и веры в коммунистическую партию и ее учение.

Система социального рейтинга и ее многочисленные западные аналоги вызвали немало споров, и неясно, до чего они способны дойти. Конечно, некоторые области применения таких систем могут оказаться достаточно ценными. Сложно жаловаться на медицинскую систему надзора, которая ускоряет отслеживание контактов, чтобы остановить распространение инфекционного заболевания и препятствует таким образом началу пандемии. Но когда те же инструменты используются для постоянного ранжирования всех и каждого, они становятся элементом подавления людей.

Основная опасность социального контроля средствами ИИ – это создание мира строгой регламентации. Конфликт и конкуренция – часть жизни, и мы должны быть готовы к тому, что технологическое развитие скажется и на них. Однако ИИ и роботы грозят сделать социальный контроль слишком совершенным, а конкуренцию (для того чтобы стать тем, кто способен навязывать контроль или уклоняться от него) – слишком жесткой. Безопасность и креативность человека развиваются в средах, в которых найден баланс предсказуемости и открытости, порядка и подвижности. Если мы не сможем ограничить робототехнику, встроенную в системы социального контроля, этому балансу придет конец.

4. Роботизированные системы и ИИ всегда должны содержать указание на идентичность своего создателя (или создателей), оператора (или операторов) и собственника (или собственников)

За роботов и алгоритмические системы отвечают люди. Конечно, некоторые программы могут сегодня порождать новые программы, которые, в свою очередь, дают начало другим. Но мы все еще может проследить родословную этих «детей и внуков разума» вплоть до их источника^[22]. И мы должны сохранить это положение дел в обозримом будущем, несмотря на предсказуемое сопротивление со стороны некоторых апологетов полностью автономного ИИ.

На передовых рубежах ИИ, машинного обучения и робототехники подчеркивается автономия, будь то умных контрактов, высокочастотных трейдинговых алгоритмов (независимых, по крайней мере, в те промежутки времени, которые для людей незаметны) или будущих роботов. Существует туманное понятие «бесконтрольных» роботов, которые сбежали от своего создателя. Возможно, такие инциденты и в самом деле неизбежны. Тем не менее какой-то человек или организация должны за них отвечать. Требование, согласно которому у всякого ИИ или роботизированной системы должно быть лицо, отвечающее за его или ее действие, поможет ограничить те проекты, которые способны оказаться столь же опасными, как нерегулируемая биоинженерия вирусов.

Конечно, некоторые роботы и алгоритмы в своем развитии отступят от идеалов, запрограммированных их собственниками, в результате взаимодействия с другими людьми или машинами (представьте, к примеру, развитый беспилотный автомобиль, который будет развиваться в результате множества влияний, им испытываемых^[23]). В подобных случаях может быть несколько сторон, ответственных за развитие данной машины и ее действия^[24]. Независимо от того, что именно влияет на развитие подобных машин, исходный создатель обязан встроить в них определенные ограничения на развитие кода, чтобы можно было записывать факторы влияния и в то же время предотвращать возникновение негативных результатов. Когда же другой человек или организация взламывает либо отключает подобные ограничения, ответственным за проступки робота становится хакер.

В качестве примера применения этого принципа рассмотрим чат-бота, который постепенно обучается определенным паттернам диалога, используя для этого общение в сети Twitter. Если верить некоторым новостным аккаунтам, чат-бот компании Microsoft, Tay, оснащенный ИИ, быстро усвоил речевые паттерны отъявленных нацистов, проведя лишь несколько часов в Twitter^[25]. Microsoft не программировала такой результат, но компания должна была знать, что опасно размещать бота на платформе, известной плохой модерацией преследований и ненавистнических высказываний. Кроме того, если бы чат-бот вел дневник дурных воздействий, он мог бы сообщить о них в сети Twitter, которая, если бы работала лучше, могла бы предпринять определенные действия, чтобы приостановить или замедлить поток оскорблений, исходящих от аккаунтов троллей, а может, и кого похуже.

Регулирующие ведомства должны будут требовать запроектированной ответственности (дополняющей обширные модели запроектированной безопасности и конфиденциальности). Для этого, возможно, придется запрограммировать на аппаратном уровне обязательные контрольные журналы или ввести практики лицензирования, в которых специально оговариваются проблемные исходы^[26]. Подобные инициативы будут не просто регулировать робототехнику и ИИ post hoc, но и влиять на развитие систем, закрывая одни возможности 27 проектирования и поощряя другие^[27].

* * *

Каждый из этих новых законов робототехники, требующих дополнительности, аутентичности, сотрудничества и атрибуции, основывается на теме, которая будет служить ориентиром для всего нашего исследования, а именно на ключевом различии между технологией, которая заменяет людей, и технологией, которая позволяет им лучше делать свою работу. Смысл новых законов в том, чтобы развивать программы, которые делают ставку на силы человека в таких областях, как здравоохранение и образование, и чтобы воспользоваться человеческими ограничениями для сужения масштаба и снижения интенсивности конфликта и зарегулированности в нашей социальной жизни.

Исследователи в области ИИ давно стремятся создать компьютеры, которые могли бы чувствовать, мыслить и действовать как люди. Еще в 1960-е гг. специалисты по робототехнике в MIT разрабатывали роботов-часовых, способных освободить солдат от утомительной и опасной обязанности стоять на посту в местах, которые могут подвергнуться атаке^[28]. Однако есть и другое понимание робота-часового – его можно расценивать не в качестве ИИ, заменяющего воинский состав, а в качестве еще одного средства, повышающего эффективность солдат-охранников. Если внедрить такой ИИ, армии, возможно, не нужно будет призывать дополнительных солдат для контроля все новых и новых угроз. Можно разработать сенсоры и компьютеры, которые будут работать в качестве дополнительного набора ушей и глаз, быстро оценивая уровни угрозы и другие данные, чтобы помочь солдатам с выбором действий. Эта цель, которая определяется как «усиление интеллекта» (УИ), определила проекты многих первопроходцев интернета^[29]. Также она является основой современного военного дела, то есть когда пилоты дронов работают с обширным комплексом данных, поступающих от сенсоров, и от их решений о воздушных бомбардировках зависят вопросы жизни и смерти.

Различие между ИИ и УИ, хотя порой оно и стирается, критически важно для определения направления инноваций. Большинство родителей не готовы отправить своих детей к учителям-роботам. Также детей не нужно учить тому, что их учителей со временем заменят машины, отлично подогнанные под их манеру обучения. В образовании есть много более гуманных концепций роботов. Например, школы уже успешно экспериментировали с «роботами-компаньонами», помогающими ученикам зубрить списки слов. Они способны задавать вопросы о том, что ученики только что выучили. Эти роботы, которые выглядят как животные или вымышленные создания, но не люди, не ставят под вопрос уникальность человека.

Исследователи постепенно приходят к выводу, что во многих контекстах УИ дает лучшие результаты и приносит больше пользы, чем искусственный или человеческий интеллект, когда они работают порознь. УИ и роботы, выполняющие функцию ассистентов, могут стать настоящим подарком для работников, высвобождая время для отдыха или досуга. Но в любой современной экономике действуют законы, которые заставляют выбирать ИИ, а не УИ.

Робот не просит отгулов, справедливой заработной платы, ему не нужна медицинская страховка. Когда труд рассматривается прежде всего в качестве издержек, справедливая оплата становится проблемой, которую как раз и должны решить роботы. Роботы привели к революции в промышленном производстве, заменив рабочих на конвейере. Сегодня многие бизнес-эксперты требуют похожего технологического развития, которое позволит роботам взять на себя более сложные задачи, начиная с медицины и заканчивая армией.

Слишком многие журналисты, увлеченные этим управленческим энтузиазмом, обсуждали «роботов-юристов» и «роботов-врачей» так, словно они уже существуют. В этой книге будет показано, что подобные описания нереалистичны. В той мере, в какой технология действительно меняет профессии, она обычно действует методами УИ, а не ИИ. За головокружительными заголовками о «программах, которые съедают мир», скрываются десятки менее громких случаев применения вычислений, помогающих адвокатам, врачам или учителям работать лучше и быстрее^[30]. Вопрос программ инноваций теперь в том, как сохранить преобладание УИ и где развивать ИИ. Эту проблему мы проанализируем применительно к разным секторам, не пытаясь придумать одну на все случаи модель технологического развития.