Два монолога еще не диалог

Сократ: В этом, Федр, дурная особенность письменности… ее порождения стоят как живые, а спроси их – они величаво и гордо молчат. То же самое и с сочинениями: думаешь, будто они говорят как разумные существа, но если кто спросит о чем-нибудь из того, что они говорят, желая это усвоить, они всегда отвечают одно и то же.

Платон, «Федр»

Две тысячи лет назад Сократ утверждал, что появление книг подрывает способность людей к логическому мышлению. Он верил в диалог, в беседу и спор. Но с книгой не вступишь в дискуссию: письменный текст не ответит на ваши доводы. Сегодня, когда книга стала символом знаний, мы можем лишь посмеяться над подобными аргументами. Но попробуем отнестись к ним всерьез. Вопреки мнению Сократа, письменные сочинения дают нам навыки самостоятельного мышления, поскольку нам попросту незачем полемизировать с их авторами. Мы обсуждаем их и спорим друг с другом на занятиях, в дискуссионных группах, а если речь идет о важном тексте, то к нашим услугам все средства массовой коммуникации. Тем не менее доводы Сократа верны: технологии, не создающие возможностей для дискуссий, разъяснений, дебатов, по определению ущербны.

За годы, проведенные в бизнесе и во главе университетской кафедры, я понял, что процесс принятия решения часто бывает важнее, чем само решение. Когда человек принимает решение, никак его не объясняя и ни с кем не советуясь, люди не доверяют результату и не одобряют его, даже если после обсуждения они сами поступили бы точно так же. Многие бизнесмены задаются вопросом: «Зачем тратить время на обсуждения, если конечный результат будет тем же самым?» Но это не так. Даже в случае принятия аналогичного решения сам процесс его принятия и реализации – особенно в незапланированных обстоятельствах – будет совершенно иным, если им займется команда, не просто выполняющая приказ, а понимающая суть дела и принимающая участие в реализации замысла.

Тома не устраивает навигационная система в его автомобиле, хотя он понимает, что порой она может быть полезна. Однако он не может взаимодействовать с системой, чтобы приспособить ее к своим потребностям. Даже если некоторые важные решения: «самый быстрый путь», «самый короткий», «с самыми живописными видами», «без проезда по платным дорогам» – Том принимает сам, он не может обсудить с навигационной системой причины, по которым выбран именно этот, а не другой маршрут. Он не знает, почему для нее маршрут А предпочтительнее маршрута Б. Учитывает ли она время ожидания на светофорах и количество знаков «стоп»? А вдруг маршруты отличаются только тем, что один из них экономит минуту на час езды? Том не знает альтернативы, которую, возможно, предпочтет, несмотря на потерю во времени. Методы работы системы неизвестны, поэтому, даже если бы он был склонен ей доверять, молчание и тайна подрывают это доверие – как подрывает доверие единоличное принятие решений в бизнесе.

Что, если бы навигационные системы могли обсуждать маршрут с водителем? Если бы они предлагали ему альтернативные варианты, демонстрируя их и на карте, и в виде таблицы, на которой указаны протяженность маршрута, предполагаемое время в пути и расходы на проезд по платным дорогам, чтобы водитель имел возможность выбирать? В некоторых навигационных системах это уже предусмотрено, и таблица для поездки в Пало-Альто из долины Напа может выглядеть следующим образом:

Маршрут Сент-Хелена – Пало-Альто, Калифорния

Это, конечно, явное усовершенствование, но до диалога и здесь далеко. Система говорит: вот три варианта, выбирай один из них. Узнать подробности или изменить маршрут вы не можете. Я знаком со всеми тремя дорогами и знаю: самая быстрая, короткая и дешевая проходит по наименее живописным местам, а та, где виды будут лучше всего, даже не предлагается. Но если водитель не имеет об этом представления? Понятно, что такой уровень общения машины с человеком не может нас удовлетворить. И то, что создание навигационных систем, предлагающих автомобилистам хотя бы такой выбор, считается большим шагом вперед, лишь показывает, как плохи остальные системы и как мы еще далеки от искомого результата.

Если моя машина сочтет, что авария неизбежна, она выпрямит спинки кресел или включит тормоза и ни о чем меня не спросит, не посоветуется со мной, даже не сообщит, в чем причина. Может, ей лучше знать, поскольку она напичкана механическими и электронными приборами, безошибочно делающими нужные расчеты? Не обязательно. Да, с арифметикой у приборов все в порядке, но, прежде чем делать расчеты, нужно еще учесть состояние дороги, поток и квалификацию водителя. Водители-профессионалы порой отключают автоматику, поскольку она не позволяет им использовать все их навыки. Точнее, они отключают то, что им позволено отключить: многие из современных машин столь авторитарны, что не оставляют водителю даже этой возможности.

Не думайте, что это относится только к автомобилям. В будущем аналогичная проблема возникнет при обращении с очень многими видами устройств. Так, в банках уже существуют автоматизированные системы, определяющие, можно ли дать вам кредит, а автоматизированные медицинские системы решают, какое лечение или лекарство вам назначить. Скоро машины станут следить за тем, что вы едите, что читаете, какую музыку любите и какие телепередачи предпочитаете смотреть. Специальные системы будут наблюдать, как вы ведете себя за рулем, и если они решат, что вы нарушили правила, то уведомят страховую компанию, прокатную контору, а то и полицию. Другие системы отслеживают нарушение авторских прав, принимая решения о том, что можно разрешить, а что нет. Во всех этих случаях речь идет о произвольных решениях: машины делают важнейшие выводы о ваших намерениях на основе далеко не полной картины вашего поведения.

Так называемые «умные» системы стали чересчур самоуверенными. Они убеждены, будто знают, что для нас лучше. Но их интеллект ограничен. И это ограниченность фундаментального свойства: машина по определению не может знать все факторы, которые человек учитывает при принятии решений. Это, впрочем, не означает, что нам следует отказываться от помощи «умных» машин. В то же время, поскольку машины берут на себя все больше и больше, их нужно социализировать – они должны стать более коммуникабельными и лучше понимать пределы своих возможностей. Только тогда они смогут приносить настоящую пользу. Именно этой теме и посвящена моя книга.

Когда я только начинал над ней работать, я думал, что ключевым в социализации машин является создание более совершенных систем, способных к диалогу. Но я ошибался. Для конструктивного диалога нужны общие знания и опыт. Нужно уметь учитывать обстановку и контекст, предшествующие события, а также множество различных целей и мотивов, которыми руководствуются участники процесса. И в этом, как я теперь понимаю, заключено одно из главных ограничений, не позволяющих современным технологиям полноценно взаимодействовать с человеком. Если даже людям непросто найти полное взаимопонимание, откуда оно возьмется у людей и машин?

Для успешного взаимодействия с техникой нам нужно научиться относиться к ней как к животным. Несмотря на то что и люди, и животные обладают интеллектом, мы – разные виды, с разным взглядом на мир и разными способностями. Точно так же даже самая умная машина – это представитель другого вида, со своими сильными и слабыми сторонами, собственным пониманием вещей и способностями. Порой мы должны слушаться животных и машин, порой – они нас.

Куда мы движемся? И кто направляет движение?

– Моя машина чуть не устроила мне аварию, – сказал мне Джим.

– Твоя машина? Как это? – удивился я.

– Я ехал по шоссе, включив круиз-контроль. Знаешь, это такая система, которая поддерживает постоянную скорость, но если впереди появляется другая машина, она снижается, чтобы сохранять безопасную дистанцию. Так вот, через какое-то время движение на дороге стало более интенсивным, и моя машина замедлила ход. Наконец я добрался до нужного съезда, перестроился в правый ряд и свернул с шоссе. Я так давно включил круиз-контроль и ехал так медленно, что попросту о нем забыл. А вот машина не забыла. Она небось сказала себе: «Ура! Наконец-то впереди никого нет», и начала разгоняться до прежней скорости, хотя на съезде надо ехать медленно. Хорошо, что я не растерялся и вовремя нажал на тормоза. Иначе кто знает, что могло бы случиться.

Сегодня наши отношения с техникой резко меняются. До недавнего времени люди ее контролировали. Мы включали и выключали ее, указывали, что делать, и следили за процессом исполнения. Но по мере того как техника становилась все сложнее и изощреннее, мы стали хуже понимать принципы ее работы и хуже предугадывать ее действия. С тех пор как в нашей жизни появились компьютеры и микропроцессоры, мы все чаще испытывали растерянность, замешательство, раздражение и злость. Но мы продолжали считать, что контролируем ситуацию. Увы, уже нет. Машины берут верх. Они ведут себя так, будто обладают интеллектом и свободой воли, хотя ни того, ни другого у них нет.

Естественно, машины присматривают за нами с наилучшими намерениями – ради нашей безопасности и удобства. Если все идет как надо, эти «умные» машины весьма полезны: они делают нашу жизнь спокойнее, избавляют нас от рутинной работы, создают комфорт и выполняют многие задания точнее, чем мы сами. Действительно, ведь удобно же, что автомобиль автоматически снижает скорость, если перед вами на опасно близком расстоянии появилась другая машина, что он тихо и плавно переключает передачи, что микроволновая печь знает, когда испеклась картошка. Ну а если техника дает сбой? Что, если она действует неправильно или выходит из повиновения? Вспомним про машину Джима, заметившую, что дорога свободна, и увеличившую скорость, хотя он уже съехал с шоссе? Те же устройства, которые помогают нам в нормальных условиях, в случае каких-то неожиданностей снижают уровень безопасности, комфорта, точности, что чревато для нас угрожающими последствиями, дискомфортом, раздражением и злостью.

Сегодня машины сообщают о своем состоянии в основном с помощью сигналов тревоги, то есть только если с ними что-то не в порядке. Когда механизм дает сбой, человек должен взять ситуацию под контроль; зачастую это происходит неожиданно и времени, чтобы нормально отреагировать, у него нет. Джиму удалось исправить ошибку своего автомобиля. А если бы он не сумел этого сделать, в аварии обвинили бы его. Да-да, если действия «умной» машины приводят к аварии, ответственность за нее, скорее всего, возложат на человека.

Чтобы наладить взаимодействие людей с «умными» механизмами, нужно совершенствовать координацию и кооперацию обеих сторон – человека и машины. Но конструкторы, разрабатывающие сложные системы, зачастую этого не понимают. Как машина может определить, что важно, а что нет, особенно если то, что важно в одной ситуации, в другой теряет значение?

Я рассказывал историю о Джиме и его ретивом автомобиле инженерам нескольких автомобилестроительных компаний, и они неизменно реагировали следующим образом. Сперва они пытались обвинить во всем водителя: почему он не выключил круиз-контроль перед тем, как съехать с шоссе? Я объяснял: он просто забыл. Ну, тогда он плохой водитель, говорили они. Принцип «сам виноват» очень удобен для обвинителя, будь то страховая компания, органы власти или общество в целом: если люди совершают ошибку, их надо наказать. Но так проблему не решить. На самом деле подлинные виновники – это неудачная конструкция, несовершенные алгоритмы, плохая инфраструктура, изъяны в технологическом режиме. А человек – лишь последнее звено в этой сложной цепи.

И хотя с технической точки зрения специалисты из автокомпаний правы – водитель должен помнить, как работает автоматика его машины, – это не оправдывает конструктивных недоработок. Новые технологии следует разрабатывать, имея в виду реальное поведение людей, а не то, каким мы хотели бы его видеть. Более того, автомобиль никак не помогает водителю вспомнить, что нужно сделать. Похоже, он сконструирован именно так, чтобы помочь ему забыть! Понять, включен круиз-контроль или нет, практически невозможно. Было бы куда лучше, если бы в машине имелось специальное напоминающее устройство.

И здесь инженеры переходили к следующему этапу: «Да, проблема есть, но волноваться не стоит. Мы все исправим. Вы правы, навигационная система автомобиля должна фиксировать, что он съехал с дороги, и либо автоматически отключить круиз-контроль, либо настроить его на безопасную скорость».

Этот ответ наглядно иллюстрирует суть проблемы. Машина не обладает умом: ее интеллект – это интеллект конструкторов. Они сидят в своих кабинетах, пытаясь представить себе все, что может произойти с машиной и водителем, и выработать правильные решения. Но как заложить правильную реакцию на неожиданное событие? Если такое случается с человеком, можно предположить, что он решит проблему с помощью воображения и смекалки. Но «интеллект» наших машин заключен не в них самих, а в головах инженеров. Поэтому в непредвиденных обстоятельствах, когда конструктора нет рядом, машина, как правило, не справляется с задачей.

О неожиданностях мы знаем две вещи: во-первых, они обязательно случаются, во-вторых, всегда застают нас врасплох.

Как-то раз инженер одной автомобильной компании отреагировал на мой рассказ о Джиме не так, как другие. Он смущенно признал, что нечто подобное на съезде с шоссе случилось и с ним самим, но у него была другая проблема – смена ряда. Если на шоссе с интенсивным движением водитель хочет перестроиться, он ждет, когда на соседней полосе возникнет достаточно большой просвет, а затем совершает маневр. Обычно при этом его автомобиль оказывается на небольшом расстоянии от машин, идущих впереди и сзади. Адаптивный круиз-контроль может решить, что передняя машина находится в опасной близости, и включить тормоза.

– Ну и в чем здесь проблема? – удивился я. – Это, конечно, раздражает, но вроде ничем не грозит.

– Нет, – пояснил инженер. – Это опасно, потому что едущий за вами водитель не ожидает, что после перестроения вы неожиданно затормозите. И если он не слишком внимателен, то может в вас врезаться. Но даже если этого не случится, ваша манера езды вряд ли ему понравится.

– Возможно, – засмеялся он, – у машины должен быть специальный стоп-сигнал, который будет загораться, если тормоза включаются автоматически, предупреждая водителя сзади: эй, я не виноват, это моя машина тормозит.

Инженер, конечно, шутил, но его слова указывают на различия в поведении людей и машин. Человек может вести себя по-разному, плохо или хорошо, обдуманно или беспечно. Машины более последовательны, они анализируют ситуацию в соответствии с логикой и правилами, на которые запрограммированы. Но в их действиях есть принципиальное ограничение: они воспринимают окружающий мир не так, как человек, у них нет «высших целей», и они не понимают целей и мотивов людей, с которыми должны взаимодействовать. Иными словами, машины не такие, как мы. В чем-то они нас превосходят, например в скорости, мощи, последовательности, а в чем-то уступают – прежде всего в навыках общения, в креативности и воображении. Машины лишены эмпатии и не способны понять, как их действия отразятся на окружающих. Из-за этих различий, связанных в первую очередь со способностью к общению и наличием эмпатии, и возникают проблемы. Более того, такие различия, а значит, и возникающие противоречия, носят фундаментальный характер, их нельзя устранить, изменив какой-нибудь алгоритм или добавив лишний датчик.

В результате действия машин вступают в противоречие с действиями людей. Зачастую ничего страшного в этом нет: если моя стиральная машина стирает белье не так, как я, какое мне дело – ведь в результате я получаю чистую одежду. Здесь автоматизация эффективна, поскольку мне нужно только загрузить белье и включить машину, а все остальное она делает сама. Она, так сказать, берет дело в свои руки, и, если я не вмешиваюсь, все работает без сбоев.

Но как быть в ситуациях, когда люди и техника должны взаимодействовать? И что произойдет с моей стиральной машиной, если, включив ее, я захочу изменить режим? Как мне сообщить ей об этом? И когда она его изменит, если программа уже запущена – сразу же или при следующей стирке? Здесь различия между реакцией людей и машин становятся очень важными. Иногда кажется, что машина действует абсолютно волюнтаристски, хотя если бы она умела мыслить и говорить, то объяснила бы, что, с ее точки зрения, это я творю произвол. На человека, вовлеченного в процесс, эта борьба за превосходство может действовать угнетающе. А стороннего наблюдателя она ставит в тупик: не ясно, кто здесь главный и почему происходит то или иное действие. И не важно, кто в данном случае прав – человек или машина. Значение имеет сама несогласованность действий – ведь именно из-за нее возникают злость, раздражение, а порой даже поломки или травмы.

Конфликт между действиями человека и машины возникает оттого, что машины, какими бы «умными» они ни были, плохо представляют себе внешние условия, цели и мотивы людей, а также особые обстоятельства, неизбежно сопутствующие тем или иным действиям. Машины прекрасно работают в заданных условиях, когда им не мешают назойливые люди и не происходит ничего неожиданного, то есть все можно точно спрогнозировать. Здесь автоматизация дает превосходные результаты.

Но даже в заданных условиях, когда машины функционируют наилучшим образом, они не всегда действуют так, как действовали бы мы. Возьмем «умную» микроволновую печь. Она знает, сколько электроэнергии и времени необходимо, чтобы приготовить нужное блюдо. Если печка исправна, все очень просто и приятно: вы кладете в нее кусок сырого лосося и сообщаете, что ей предстоит готовить рыбу. Через некоторое время вы получаете готовое блюдо – нечто среднее между вареной рыбой и тушеной, но по-своему превосходное. В инструкции говорится: «Сенсор фиксирует избыточную влагу, выделяемую при готовке, и печь автоматически корректирует время приготовления в соответствии с типом и количеством пищи». Заметим, однако, что ни слова не сказано о том, что микроволновка готовит пищу так же, как человек. Человек проверил бы, стала ли рыба достаточно мягкой, приобрела ли нужный цвет, возможно, измерил бы внутреннюю температуру. Печка всего этого не умеет, поэтому делает, что может – следит за выделением влаги. Именно по уровню влажности она определяет, готово ли блюдо. Для рыбы и овощей этого достаточно, а для других продуктов – нет. Кроме того, сама сенсорная система не идеальна. Если после завершения программы блюдо оказалось сыроватым, включать печь еще раз не рекомендуется: «Не применяйте сенсорную функцию дважды при приготовлении одной и той же порции – это может привести к тому, что пища окажется пережаренной или подгоревшей». Вот вам и «умная» микроволновка!