Реальная жизнь, напротив, принципиально открыта; никакие предварительно загруженные данные не в состоянии отразить постоянно меняющийся мир, в котором мы живем. Нет здесь и фиксированных правил, зато возможности безграничны. Мы не можем отработать заранее каждый вариант развития событий или предвидеть, какая информация нам понадобится в той или иной ситуации. Например, ИИ-система, которая читает новости, не может заранее изучить все то, что произошло на прошлой неделе, или в прошлом году, или даже во всей записанной истории, потому что все время возникают новые и новые ситуации. Интеллектуальная система чтения новостей должна быть в состоянии освоить практически любую справочную информацию, которую может знать средний взрослый, даже если она никогда не фигурировала в новостях раньше. Диапазон этого огромен, от «Чтобы закрутить винт, можно воспользоваться отверткой» до «Шоколадный пистолет вряд ли сможет выстрелить настоящими пулями». Гибкость мышления – вот что такое универсальный интеллект, которым наделен любой человек.

Даже множество узких вариантов искусственного интеллекта никогда не заменят интеллект широкий. Было бы абсурдно (да и непрактично) иметь одну ИИ-систему для анализа ситуаций, связанных с бытовыми инструментами, а другую – для оценки свойств шоколадного оружия; более того, у нас никогда не хватит данных, чтобы обучить их все. По определению, никакая система машинного интеллекта не сможет впитать в себя достаточно данных, чтобы охватить весь спектр возможных обстоятельств в реальном мире. Дело в том, что сам процесс понимания информации не вписывается в парадигму узкого искусственного интеллекта, основанного исключительно на предварительном обучении, поскольку ситуаций в мире всегда больше, чем данных.

Открытость мира означает, что воображаемые роботы, живущие в наших домах, столкнулись бы с бесконечным, по существу, миром возможностей, взаимодействуя с огромным количеством объектов, от каминов до картин, от чесночных прессов до интернет-роутеров, от мягких игрушек до живых существ вроде кошек, собак или хомячков, детей, членов семьи и гостей. Они бы постоянно сталкивались с новыми предметами, которые, например, появились на рынке только на прошлой неделе и теперь заменили собой прежние. Обо всем этом наш робот должен был бы рассуждать в режиме реального времени. Например, все картины в доме выглядят по-разному, но мы не можем позволить роботу методом бесконечных проб и ошибок учить, что можно и нельзя с ними делать, применительно для каждой картины отдельно (например, поправлять их на стене, но не снимать со стены, сдувать с них пыль, но не мыть акварели водой и т. д.).

Большая часть проблем вождения с точки зрения искусственного интеллекта связана с тем, что вождение не подчиняется полностью определенным правилам (даже прописанным в законе). Движение по автомагистралям в хорошую погоду дается узкому искусственному интеллекту относительно легко, потому что подобные дороги в значительной степени являются закрытыми системами: на них не допускаются пешеходы, и даже новые автомобили могут появляться на них лишь из определенных точек вхождения. Однако инженеры, работающие над проблемой беспилотного вождения, быстро осознали, что езда в городе оказывается для ИИ намного сложнее: список объектов, которые могут в любой момент появиться на дороге в переполненном городе, по сути, не имеет границ. Водители-люди в норме успешно справляются с теми проблемами, для решения которых у них мало или совсем нет прямых данных (например, если они в первый раз видят полицейского, держащего табличку с надписью «Осторожно, открытый канализационный люк»). Одним из технических терминов для характеристики подобных ситуаций является слово «выброс». Как правило, они ставят в тупик узкий искусственный интеллект.

Исследователи и разработчики в области узкого искусственного интеллекта долгое время игнорировали выбросы в погоне за созданием успешных (на выставках) демоверсий и из-за стремления доказать правильность очередной концепции. Но именно способность справляться с открытыми системами, опираясь на общий интеллект, а не «грубую силу» (даже в цифровом смысле), эффективную исключительно в закрытых системах, является ключом к продвижению вперед всей обсуждаемой области.

Наша книга рассказывает о том, что нужно сделать для достижения этой амбициозной цели.

Не будет преувеличением сказать, что от ее достижения во многом зависит наше будущее. Сам по себе искусственный интеллект обладает огромным потенциалом в решении самых серьезных проблем, стоящих перед человечеством, включая медицинские, экологические, энергетические и ресурсные. Но чем больше мощности мы вкладываем в системы искусственного интеллекта, тем более важным становится правильное использование этой мощи, чтобы на машины и компьютеры можно было рассчитывать всерьез. А это означает переосмысление всей парадигмы.

Мы ввели в название этой книги слово «перезагрузка», потому что считаем, что нынешний подход не направлен на то, чтобы привести нас к безопасным, умным или надежным системам искусственного интеллекта. Близорукая одержимость узкими формами ИИ с целью урвать лакомые куски успеха, легко доступные благодаря большим данным, увела науку и бизнес слишком далеко от более долгосрочной и гораздо более сложной проблемы, которую должна была бы решить разработка искусственного интеллекта в нашем стремлении к реальному прогрессу: как наделить машины более глубоким пониманием мира. Без этого мы никогда не доберемся до машинного разума, действительно заслуживающего доверия. Пользуясь техническим жаргоном, мы можем застрять в точке локального максимума. Это, конечно, лучше, чем не делать совсем ничего, но абсолютно недостаточно, чтобы привести нас туда, куда мы хотим попасть.

На данный момент существует огромный разрыв – настоящая пропасть – между нашими амбициями и реальностью искусственного интеллекта. Эта пропасть возникла вследствие нерешенности трех конкретных проблем, с каждой из которых необходимо честно разобраться.

Первую из них мы называем легковерием, в основе которого лежит тот факт, что мы, люди, не научились по-настоящему различать людей и машины, и это позволяет легко нас одурачивать. Мы приписываем интеллект компьютерам, потому что мы сами развивались и жили среди людей, которые во многом основывают свои действия на абстракциях, таких как идеи, убеждения и желания. Поведение машин часто внешне схоже с поведением людей, поэтому мы быстро приписываем машинам один и тот же тип базовых механизмов, даже если у машин они отсутствуют. Мы не можем не думать о машинах в когнитивных терминах («Мой компьютер думает, что я удалил свой файл»), независимо от того, насколько просты правила, которым машины следуют на самом деле. Но выводы, которые оправдывают себя применительно к людям, могут быть совершенно неверными в приложении к программам искусственного интеллекта. В знак уважения к основному принципу социальной психологии мы называем это фундаментальной ошибкой оценки подлинности.

Один из первых случаев проявления этой ошибки произошел в середине 1960-х годов, когда чат-бот по имени Элиза убедил некоторых людей, что он действительно понимает вещи, которые они ему рассказывают. На самом деле Элиза, в сущности, просто подбирала ключевые слова, повторяла последнее, что было ей сказано человеком, а в тупиковой ситуации прибегала к стандартным разговорным уловкам типа «Расскажите мне о своем детстве». Если бы вы упомянули свою мать, она спросила бы вас о вашей семье, хотя и не имела представления о том, что такое семья на самом деле или почему это важно для людей. Это был всего лишь набор трюков, а не демонстрация подлинного интеллекта.

Несмотря на то что Элиза совершенно не понимала людей, многие пользователи были одурачены диалогами с ней. Некоторые часами печатали фразы на клавиатуре, разговаривая таким образом с Элизой, но неправильно истолковывая приемы чат-бота, принимая, по сути, речь попугая за полезные, душевные советы или сочувствие. Вот что на это сказал создатель Элизы Джозеф Вайзенбаум:

Люди, которые очень хорошо знали, что они разговаривают с машиной, вскоре забыли этот факт, точно так же как любители театра отбрасывают на время свое неверие и забывают, что действие, свидетелями которого они являются, не имеет права называться реальным. Собеседники Элизы часто требовали разрешения на частную беседу с системой и после разговора настаивали, несмотря на все мои объяснения, на том, что машина действительно их понимает.

В иных случаях ошибка оценки подлинности может оказаться в прямом смысле слова фатальной. В 2016 году один владелец автоматизированной машины Tesla настолько доверился кажущейся безопасности автопилотного режима, что (по рассказам) полностью погрузился в просмотр фильмов о Гарри Поттере, предоставив машине все делать самой. Все шло хорошо – пока в какой-то момент не стало плохо. Проехав безаварийно сотни или даже тысячи миль, машина столкнулась (во всех смыслах этого слова) с неожиданным препятствием: шоссе пересекала белая фура, а Tesla понеслась прямо под прицеп, убив владельца автомобиля на месте. (Похоже, машина несколько раз предупреждала водителя, что ему следует взять управление на себя, но тот, по-видимому, был слишком расслаблен, чтобы быстро отреагировать.) Мораль этой истории ясна: то, что какое-то устройство может показаться «умным» на мгновение или два (да пусть и полгода), вовсе не означает, что это действительно так или что оно может справиться со всеми обстоятельствами, в которых человек отреагировал бы адекватно.

Вторую проблему мы называем иллюзией быстрого прогресса: ошибочно принимать прогресс в искусственном интеллекте, связанный с решением легких проблем, за прогресс, связанный с решением по-настоящему сложных проблем. Так, например, произошло с системой IBM Watson: ее прогресс в игре Jeopardy! казался очень многообещающим, но на самом деле система оказалась куда дальше от понимания человеческого языка, чем это предполагали разработчики.

Вполне возможно, что и программа AlphaGo компании DeepMind пойдет по тому же пути. Игра го, как и шахматы, – это идеализированная информационная игра, где оба игрока могут в любой момент видеть всю доску и рассчитывать последствия ходов методом перебора. В большинстве случаев из реальной жизни никто ничего не знает с полной уверенностью; наши данные часто бывают неполными или искаженными. Даже в самых простых случаях существует много неопределенности. Когда мы решаем, идти ли к врачу пешком или поехать на метро (поскольку день пасмурный), мы не знаем точно, сколько времени потребуется для того, чтобы дождаться поезда метро, застрянет ли поезд по дороге, набьемся ли мы в вагон как сельди в бочке или мы промокнем под дождем на улице, не решившись на ехать на метро, и как доктор будет реагировать на наше опоздание. Мы всегда работаем с той информацией, какая у нас есть. Играя в го сама с собой миллионы раз, система DeepMind AlphaGo никогда не имела дела с неопределенностью, ей попросту неизвестно, что такое нехватка информации или ее неполнота и противоречивость, не говоря уже о сложностях человеческого взаимодействия.

Существует еще один параметр, по которому интеллектуальные игры наподобие го сильно отличаются от реального мира, и это опять имеет отношение к данным. Даже сложные игры (если правила их достаточно строги) могут быть смоделированы практически идеально, поэтому системы искусственного интеллекта, которые в них играют, могут без труда собрать огромные объемы данных, требующихся им для обучения. Так, в случае с го машина может симулировать игру с людьми, просто играя сама против себя; даже если системе потребуются терабайты данных, она сама же их и создаст. Программисты могут таким образом получить абсолютно чистые данные моделирования практически без затрат. Напротив, в реальном мире идеально чистых данных не существует, невозможно их и смоделировать (поскольку правила игры постоянно меняются) и тем более затруднительно собрать многие гигабайты релевантных данных методом проб и ошибок. В действительности на апробацию разных стратегий у нас имеется всего несколько попыток. Мы не в состоянии, например, повторить посещение врача 10 миллионов раз, постепенно корректируя параметры решений перед каждым визитом, чтобы кардинально улучшить наше поведение в плане выбора транспорта. Если программисты хотят обучить робота для помощи пожилым людям (скажем, чтобы он помогал уложить немощных людей в постель), каждый бит данных будет стоить реальных денег и реального человеческого времени; здесь нет возможности собрать все требуемые данные с помощью симуляционных игр. Даже манекены для краш-тестов не могут стать заменой реальным людям. Нужно собирать данные о настоящих пожилых людях с разными особенностями старческих движений, о разных видах кроватей, разных видах пижам, разных типах домов, и здесь нельзя допускать ошибок, ведь уронить человека даже на расстоянии нескольких сантиметров от кровати было бы катастрофой. В данном случае на карту поставлены реальные жизни^[6]. Как IBM обнаруживала не один, а уже целых два раза (сначала в шахматах, а затем в Jeopardy!), успех в задачах из закрытого мира совершенно не гарантирует успеха в мире открытом.

Третий круг описываемой пропасти – это переоценка надежности. Снова и снова мы видим, что, как только люди с помощью искусственного интеллекта находят решение какой-то проблемы, которое способно функционировать без сбоев некоторое время, они автоматически предполагают, что при доработке (и с несколько большим объемом данных) оно будет надежно работать все время. Но это вовсе не обязательно так.

Берем опять автомобили без водителей. Сравнительно легко создать демоверсию беспилотного автомобиля, который будет правильно двигаться по четко размеченной полосе на спокойной дороге; впрочем, люди умеют это делать уже больше века. Однако куда сложнее заставить эти системы работать в сложных или неожиданных обстоятельствах. Как рассказала нам в письме Мисси Каммингс, директор Лаборатории человека и автономных механизмов (Humans and Autonomy Laboratory) Университета Дьюка (и бывший летчик-истребитель ВМС США), вопрос не в том, сколько миль машина без водителя может проехать, не попав в аварию, а в том, насколько эти автомобили умеют адаптироваться к меняющимся ситуациям. По ее словам, современные полуавтономные транспортные средства «обычно работают только в очень узком диапазоне условий^[7], которые ничего не говорят о том, как они могут работать при условиях, отличающихся от идеальных». Выглядеть почти абсолютно надежным на миллионах пробных миль в Фениксе не означает хорошо функционировать во время муссона в Бомбее.

Это принципиальное различие между тем, как автономные транспортные средства ведут себя в идеальных условиях (например, солнечные дни на загородных многополосных дорогах), и тем, что они могли бы сделать в экстремальных условиях, легко может сделаться вопросом успеха и провала целой отрасли. Из-за того что так мало внимания уделяется автономному вождению в экстремальных условиях и что современная методология не развивается в том направлении, чтобы гарантировать корректную работу автопилота в условиях, которые только-только начинают рассматриваться по-настоящему, вполне возможно, скоро выяснится, что миллиарды долларов были потрачены на методы построения беспилотных автомобилей, которые просто не в состоянии обеспечить надежность вождения, сравнимую с человеческой. Возможно, что для достижения того уровня уверенности в технике, который нам необходим, потребуются подходы, кардинально отличные от нынешних.

И автомобили – это лишь один пример из множества аналогичных. В современных исследованиях искусственного интеллекта его надежность была недооценена глобально. Отчасти это случилось потому, что большинство нынешних разработок в этой области связано с проблемами, имеющими высокую устойчивость к ошибкам, например рекомендации по развитию рекламы или продвижению новых товаров. Действительно, если мы порекомендуем вам пять видов продукции, а понравятся вам только три из них, никакого вреда не случится. Но в целом ряде важнейших для будущего сфер применения искусственного интеллекта, включая автомобили без водителя, уход за пожилыми людьми и планирование медицинского обслуживания, решающее значение будет иметь надежность, сопоставимая с человеческой. Никто не купит домашнего робота, который способен благополучно донести до постели вашего престарелого дедушку лишь в четырех случаях из пяти.

Даже в тех задачах, где современный искусственный интеллект должен теоретически предстать в самом лучшем свете, регулярно случаются серьезные сбои, иногда выглядящие очень забавно. Типичный пример: компьютеры в принципе уже неплохо научились распознавать, что находится (или происходит) на том или ином изображении. Иногда эти алгоритмы работают прекрасно, но зачастую выдают совершенно невероятные ошибки. Если вы показываете изображение автоматизированной системе, генерирующей подписи к фотографиям повседневных сцен, вы нередко получаете ответ, удивительно похожий на то, что написал бы и человек; например, для сцены ниже, где группа людей играет во фрисби, широко разрекламированная система генерации субтитров от Google дает совершенно правильное название (рис. 1.1).

Рис. 1.1. Группа молодых людей, играющих во фрисби (правдоподобная подпись к фотографии, автоматически генерируемая AI)

Но пятью минутами позже вы с легкостью можете получить от этой же системы совершенно абсурдный ответ, как вышло, например, с этим дорожным знаком, на который кто-то налепил наклейки: компьютер назвал эту сцену «холодильником с большим количеством еды и напитков» (рис. 1.2).

Точно так же автомобили без водителя часто правильно идентифицируют то, что они «видят», но иногда они как бы не замечают совершенно очевидных вещей, как в случае с Tesla, которые в режиме автопилота регулярно врезались в припаркованные пожарные машины или машины скорой помощи. Слепые зоны, подобные этим, могут быть еще более опасными, если они кроются в системах, контролирующих электросети или ответственных за мониторинг здоровья населения.

Рис. 1.2. Холодильник, заполненный множеством еды и напитков (абсолютно неправдоподобный заголовок, созданный той же системой, что и выше^[8])

Чтобы преодолеть пропасть между амбициями и реалиями искусственного интеллекта, нам нужны три вещи: ясное осознание тех ценностей, которые поставлены на карту в этой игре, отчетливое понимание того, почему современные системы ИИ не выполняют своих функций достаточно надежно, и, наконец, новая стратегия развития машинного мышления.