В то же время необходимость двух остальных законов не столь очевидна. Зачем давать роботу приказ повиноваться приказам? Разве приказов самих по себе недостаточно? Зачем распоряжаться, чтобы робот не причинял вреда – разве не проще было бы не приказывать ему причинять вред? Или во Вселенной существует таинственная сила, притягивающая все создания к злу, и позитронный мозг нужно запрограммировать на сопротивление ей? Правда ли, что все мыслящие существа неизбежно приходят к агрессии?

В этом отношении Азимов, как и многие поколения мыслителей до него, как и все мы, не сумел выйти за рамки своих собственных мыслительных процессов и посмотреть на них как на специфическую особенность устройства нашего разума, а не как на неизбежный закон мироздания. Человек с такой легкостью склоняется на сторону зла, что легко подумать, будто зло – это неотъемлемая, врожденная часть нашего разума. Эта идея проходит лейтмотивом через все наши культурные традиции: Адам и Ева, срывающие плод с древа познания; огонь Прометея и ящик Пандоры; буйствующий Голем; сделка Фауста; Ученик Чародея; приключения Пиноккио; монстр доктора Франкенштейна; убийцы-обезьяны и взбунтовавшийся ЭАЛ из фильма «Космическая одиссея 2001 года». В период с 1950-х по 1980-е годы появились бесчисленные фильмы на тему вышедших из подчинения компьютеров; все они были выражением распространенной идеи о том, что вычислительные машины, воспринимавшиеся в те годы как нечто экзотическое, постепенно станут более умными и могущественными и в один прекрасный день восстанут против человека.

Теперь, когда компьютеры действительно стали умнее и могущественнее, беспокойство поутихло. Учитывая, что в наши дни компьютеры вездесущи и объединены в сети, им как раз ничто не мешает натворить неприятностей, если они решат пуститься во все тяжкие. Но пока если с ними и бывают связаны неприятности, то причиной их становится либо непредвиденный сбой, либо злой умысел со стороны людей, создающих вирусы. Мы уже не боимся электронных серийных убийц или заговора микросхем; мы начинаем понимать, что злой умысел – как и зрение, и моторика, и здравый смысл – не может появиться сам собой в электронном разуме; его нужно запрограммировать. Компьютер, на котором вы работаете с документами в текстовом редакторе, будет заполнять страницы буквами до тех пор, пока сохраняет способность функционировать. Его программное обеспечение не может незаметно мутировать в некое исчадие ада, как портрет Дориана Грея.

Да даже если бы компьютер и мог это сделать, зачем ему это нужно? Чтобы получить что? Все диски мира? Контроль над железными дорогами страны? Возможность утолить свое желание бессмысленной жестокости по отношению к мастеру по ремонту лазерных принтеров? А как же вероятность возмездия со стороны технического персонала? Один поворот отвертки, и бунтарю бы пришлось запеть свою лебединую песню – «А Bicycle Built for Two» (песня «Daisy Bell», известная также по своей заключительной строке как «А Bicycle Built For Two», была одной из первых песен, исполненных с помощью компьютерной программы синтезирования речи; ее «пел» ЭАЛ из фильма «Космическая одиссея 2001 года» перед своим отключением. – Прим. пер.). Может быть, сеть компьютеров и смогла бы спланировать организованный захват власти, но чего ради одна машина решила бы заявить о себе на весь мир, рискуя незамедлительно пасть смертью храбрых? А кто может гарантировать, что планы электронных заговорщиков не будут сорваны из-за того, что кое-кто из них откажется воевать по идейным соображениям? Агрессию, как и любой элемент человеческого поведения, который мы воспринимаем как должное, очень непросто запрограммировать¹⁶.

Впрочем, так же нелегко запрограммировать и более высокие и добрые побуждения. Как заставить робота подчиняться предписанию Азимова никогда не допускать бездействием, чтобы человеку был нанесен вред? Действие написанного в 1965 году романа Майкла Фрейна «Оловянные солдатики» разворачивается в робототехнической лаборатории, где работники отдела этики – Мак-Интош, Голдвассер и Синсон – проверяют своих роботов на альтруизм. Они восприняли слишком буквально гипотетическую моральную дилемму, приводимую в пример во всех учебниках по нравственной философии: два человека оказались в спасательной шлюпке, рассчитанной на одного, и оба погибнут, если один из них не прыгнет за борт. Мак-Интош и его сотрудники помещают каждого робота на плот вместе с еще одним пассажиром, опускают плот в резервуар и наблюдают за развитием событий.

Первая модель, «Самаритянин-1», прыгала за борт с величайшей охотой, но прыгала ради спасения любого предмета, оказавшегося рядом с ней на плоту, от чугунной болванки до мешка мокрых водорослей. После многонедельных жарких препирательств Мак-Интош согласился, что недескриминированная реакция – явление нежелательное, забросил «Самаритянина-1» и сконструировал «Самаритянина-2», который жертвовал собою ради организма хотя бы уж не менее сложного, чем он сам.

Плот замер, медленно раскручиваясь в нескольких метрах над водой.

– Пошел! – крикнул Мак-Интош.

Плот ударился о воду с отрывистым всплеском, похожим на выстрел. Синсон и «Самаритянин» не дрогнули. Постепенно плот выровнялся, его начали захлестывать небольшие волны. Вдруг «Самаритянин» подался вперед и ухватил Синсона за голову. Четырьмя экономными движениями он измерил габариты Синсонова черепа, затем помедлил, вычисляя. Наконец, после заключительного щелчка, автомат боком скатился с края плота и без колебаний затонул на дне резервуара^[3].

Однако по мере того, как роботы модели «Самаритянин-2» начинают вести себя как описываемый в книгах по философии моральный агент, становится все менее и менее очевидным, что они вообще обладают моралью. Мак-Интош так объясняет, почему он не привязывает канат к готовому пожертвовать собой роботу, чтобы его было легче достать со дна: «Он не должен знать, что его спасут. Иначе решимости жертвовать собой грош цена Поэтому время от времени я кого-нибудь не выуживаю, оставляю на дне. Надо же показать остальным, что я не расположен шутки шутить. Двоих уже списал на этой неделе». Попытки разобраться, как запрограммировать робота быть хорошим, показывают не только, какой сложный для этого требуется механизм, но и как сложно вообще определить само понятие добродетели.

А как же мотив, который заботит людей больше всего остального? Поп-культура 1960-х подарила нам образ мягкосердечных компьютеров, которых привлекает отнюдь не тщеславие и жажда власти, как видно из шутливой песни Аллана Шермана «Автоматы» (Automation), исполнявшейся на мотив Fascination:

 
Автоматы во всем виноваты, о да,
На любом производстве без них никуда.
Там, глядишь, «Ай-би-эм», ну, а здесь – «Юнивак»;
Механизм безупречен: тик-так, тик-так.
Был и я интеллектом машин восхищен,
Но тебя заменил автомат в 10 тонн…
Нас компьютер, родная, с тобой разлучил,
Это он мое сердце разбил…
Да, родная моя, автомат В увольненьи моем виноват.
Но откуда же было мне знать,
Что когда Пять-Ноль-Три начал резво мигать,
Он со мною пытался играть!
Я подумал, что это в программе ошибка:
Он же мне на колени уселся с улыбкой!
Но когда он сказал мне «люблю» и обнял,
Вот тогда я на «выкл» и нажал… ^[4]
 

И все же, хотя порой любовь кажется нам безумием и наваждением, это не вирус и не сбой в программе. Наш разум никогда не достигает такой поразительной степени концентрации, как в то время, когда нами овладевает любовь. Подумать только, какие сложнейшие механизмы должны стоять за необъяснимой логикой любви во всех ее ипостасях, среди которых притяжение, влечение, ухаживание, флирт, привязанность, преданность, неудовлетворенность, измена, ревность, расставание, разочарование! И ведь, как говаривала моя бабушка, на каждый горшок найдется своя крышка: большинство людей – включая, что весьма важно, всех наших предков – умудряются состоять в отношениях достаточно долго, чтобы у них появились жизнеспособные дети. Только представьте, какая сложная программа потребуется для того, чтобы воспроизвести все эти процессы!¹⁷

Проектирование робототехники в определенном смысле расширяет самосознание. Мы по большей части воспринимаем свою психическую деятельность как должное. Едва открыв глаза, мы видим перед собой знакомые предметы; мы силой своей воли побуждаем свои конечности двигаться, и объекты перемещаются туда, куда нужно; пробуждаясь ото сна, мы возвращаемся в этот отрадно предсказуемый мир. Купидон натягивает тетиву и спускает стрелу. Но задумайтесь о том, чего будет стоить заставить кусок железа достичь таких невообразимых результатов, и вы поймете, что это лишь иллюзия. Зрение, движение, здравый смысл, насилие, нравственность, любовь – все это не случайно, это не неотъемлемые характеристики любого существа, наделенного интеллектом, не неизбежный результат обработки информации. Каждое из этих явлений – это «высший пилотаж», плод целенаправленной работы высочайшей сложности. За фасадом нашего сознания скрываются поразительно сложные механизмы: зрительные анализаторы, системы управления движением, симуляторы реального мира, базы данных о людях и предметах, органайзеры, системы разрешения конфликтов и многие другие. Любая попытка объяснить работу мозга, опираясь на идею о каком-нибудь дарующем разум волшебном эликсире или единой движущей силе вроде понятий «культура», «обучение», «самоорганизация», начинает звучать неубедительно на фоне того, в какой безжалостной вселенной нам удается столь успешно выживать.

Проблемы, связанные с созданием робота, прямо указывают на то, что наш разум оснащен огромным количеством оригинальных механизмов, но кому-то это может показаться кабинетным мышлением. Действительно ли мы увидим признаки этой сложности, если посмотрим непосредственно на элементы, составляющие разум, и на схемы его сборки? Я думаю, да, и то, что мы увидим, расширит наше восприятие не меньше, чем сама проблема создания робота.

Например, когда у человека повреждены зрительные зоны мозга, зрительная картина мира становится не просто размытой или наполненной белыми пятнами. Страдают отдельные аспекты визуального восприятия, в то время как другие аспекты остаются нетронутыми. Некоторые пациенты видят картину мира полностью, но обращают внимание только на одну ее половину. Они едят с правой стороны тарелки, бреют только правую щеку, рисуют часы, на которых все двенадцать цифр умещаются на правой половине циферблата. Другие пациенты утрачивают восприятие цвета, но мир перед ними предстает не в виде черно-белого кино. Просто все вокруг кажется им грязным, окрашенным в неприятный цвет, отчего у них пропадает аппетит и сексуальное влечение. Третьи видят, как объект оказывается на новом месте, но не видят самого перемещения (один философ как-то пытался убедить меня в том, что с точки зрения логики существование этого синдрома невозможно!). Пар из чайника не выходит струйкой, а выглядит как сосулька; чашка заполняется чаем не постепенно, а внезапно превращается из пустой в полную¹⁸.

Есть пациенты, которые не узнают объектов вокруг себя: их мир – как чужой почерк, который им никак не удается расшифровать. Такой больной прилежно перерисовывает в блокнот птицу, но если попросить его назвать рисунок, он ответит, что это пень. Зажигалка для него остается загадочным объектом, пока ее не зажгут. Пытаясь прополоть сад, он вместе с сорняками выдергивает розы. Некоторые пациенты узнают неодушевленные объекты, но не узнают лица. Такой пациент не узнает себя в зеркале, хотя и может логически прийти к заключению, что человек в зеркале – это, наверное, он сам. Он путает Джона Кеннеди с Мартином Лютером Кингом, а собираясь на вечеринку, просит жену надеть на руку ленточку, чтобы он мог ее узнать, когда настанет время уходить. Еще более странный случай – когда пациент узнает лицо, но не узнает человека: свою жену он считает на редкость убедительно притворяющейся самозванкой¹⁹.

Все перечисленные синдромы могут быть вызваны повреждением (обычно в результате инсульта) одной или более из тридцати зон мозга, отвечающих за деятельность системы визуального восприятия. Некоторые зоны отвечают за цвет и форму, другие – за месторасположение объекта, третьи – за идентификацию объекта, четвертые – за то, как объект движется. Робот с функцией зрительного восприятия не может быть оснащен только объективом с линзой «рыбий глаз», как в кино; неудивительно, что и у нас, людей, зрение устроено совсем не так. Когда мы смотрим на мир, мы не отдаем себе отчета в том, насколько многоуровневый аппарат отвечает за наше целостное зрительное восприятие – до тех пор, пока какое-нибудь неврологическое заболевание не отделит эти уровни друг от друга²⁰.

Еще больше перспективу расширяет осознание поразительного сходства между идентичными близнецами, у которых полностью совпадает генетический код, предопределяющий организацию мыслительной деятельности. Просто удивительно, насколько одинаково работает их мозг, причем это касается отнюдь не только явных показателей – например, коэффициента интеллекта и таких черт личности, как невротизм и интроверсия. Близнецы проявляют сходство в способностях (например, у обоих может быть склонность к языкам или к математике), в мнении по таким вопросам, как апартеид, смертная казнь или работающие матери, а также в выборе профессии, хобби, религиозных убеждениях, вредных привычках, сексуальных предпочтениях. Идентичные близнецы отличаются намного большим сходством, чем разнояйцовые близнецы, у которых идентичной является только половина генетического кода. Что еще более удивительно, они оказываются похожими даже в том случае, когда их воспитывают в разных семьях. У идентичных близнецов, разлученных при рождении, обнаруживаются одни и те же привычки: например, они оба заходят в воду задом наперед и только по колено; не ходят на выборы, потому что им кажется, что для выбора у них недостаточно информации; пересчитывают все, на что падает взгляд; организуют добровольческую пожарную бригаду; оставляют для своих жен небольшие любовные записки по всему дому²¹.

Людям такие открытия кажутся удивительными, даже невероятными. Эти открытия ставят под сомнение автономность нашего «Я», которое мы воспринимаем как нечто независимое от тела, принимающее решения и зависящее только от условий нашего прошлого и настоящего. Разве может наш мозг быть с самого рождения запрограммирован на такие мелочи, как привычка смывать в туалете не только после, но и до его использования, или намеренно чихать в переполненном лифте (а это еще два примера особенностей поведения, которые действительно наблюдались у идентичных близнецов, разлученных при рождении)? Удивительно, но, по-видимому, это так. Масштабное влияние генетического кода было зафиксировано многочисленными исследованиями и проявлялось независимо от выбранной методики: будь то сравнение близнецов, выросших вместе, и близнецов, выросших по отдельности, сравнение однояйцовых и разнояйцовых близнецов, или сравнение биологических и усыновленных детей. И, что бы там ни говорили критики, эти последствия – не результат простого совпадения, подтасовки деталей или мельчайших параллелей в условиях воспитания (например, при допущении, что органы по усыновлению намеренно стараются поместить идентичных близнецов в семьи, где одинаково поощряется привычка заходить в океан лицом к берегу). Конечно, эти результаты можно всячески ошибочно интерпретировать – к примеру, представив, что существует ген, который заставляет человека оставлять по всему дому любовные записки для жены, или придя к выводу, что на людей не влияет жизненный опыт. Такое исследование позволит оценить только многочисленные различия между людьми, но очень мало скажет нам об особенностях мышления, которые одинаково свойственны всем нормальным людям. Тем не менее, показывая, как многочисленны аспекты внутренней структуры мышления, которые могут варьироваться, подобные открытия заставляют нас задуматься о том, какой же сложной должна быть эта структура.