Глава 2
Обещание. «Старые идеи – это новые идеи»

Однажды в середине 1980-х группа из примерно двадцати ученых собралась в особняке, выстроенном в старофранцузском стиле на окраине Бостона, который служил местом отдыха для преподавателей и студентов Массачусетского технологического института, откуда Марвин Мински продолжал руководить международным сообществом разработчиков ИИ. Они сидели за большим деревянным столом в центре комнаты, и Джефф Хинтон вручил каждому экземпляр заполненной математическими выкладками научной статьи, описывающей то, что он назвал «машиной Больцмана». Названная в честь австрийского физика и философа, эта «машина» представляла собой нейронную сеть нового типа, призванную преодолеть те недостатки «Перцептрона», на которые указал Мински пятнадцатью годами ранее. Мински снял скрепку, соединявшую листы статьи, и разложил их перед собой на столе, в то время как Хинтон вернулся во главу стола и сделал короткий доклад, объясняющий свое новое математическое творение. Мински молчал и просто разглядывал разложенные перед ним листы. Когда доклад закончился, он встал и вышел из комнаты, оставив разложенные аккуратными рядами листы на столе.

Хотя нейронные сети выпали из фавора ученых, после выхода в свет книги Мински «Перцептроны», Хинтон, к этому времени занявший должность профессора информатики в Университете Карнеги – Меллона в Питтсбурге, сохранял им верность. «Машину Больцмана» он создал в сотрудничестве с Терри Сейновски, нейробиологом из Университета Джонса Хопкинса в Балтиморе. Они принадлежали к числу «нейросетевых подпольщиков», как назвал их один из современников. Остальные ученые, занимавшиеся искусственным интеллектом, сосредоточились на символьных методах, в том числе на проекте Сус. Хинтон же и Сейновски продолжали видеть будущее ИИ в самообучающихся системах. Бостонская конференция дала Хинтону возможность поделиться своими новыми результатами с широким научным сообществом.

Хинтона реакция Мински не удивила. Они познакомились пятью годами ранее, и Хинтон видел в Мински очень любознательного и творчески мыслящего ученого, но это сочеталось с удивительным ребячеством и безответственностью. Хинтон часто рассказывал историю о том, как Мински учил его, каким образом получить «идеальный черный цвет» – то есть цвет, полностью лишенный цвета. Достичь такого совершенства с помощью черных пигментов невозможно, объяснял Мински, потому что эти пигменты все равно будут отражать свет. Добиться этого можно с помощью нескольких бритвенных лезвий, установленных V-образно, так чтобы свет, попав в эту ловушку, бесконечно отражался от лезвий, не находя выхода наружу. Мински, правда, реально это фокус не продемонстрировал, а Хинтон так и не попробовал его осуществить. Это было типично для Мински – делать интересные и заставляющие задуматься заявления, но при этом случайные и непроверенные. И это свидетельствовало о том, что он не всегда говорил то, что думал. Во всяком случае, когда речь заходила о нейронных сетях, Мински на словах критиковал их и сетовал на их ограниченные возможности – да еще и книгу написал, которая широко цитировалась и как будто бы окончательно доказывала их бесперспективность, – но его истинное отношение к ним было не столь уж твердокаменным. Хинтон видел в нем «бывшего нейросетевика», то есть человека, который изначально принимал идею о машинах, ведущих себя подобно сети нейронов в мозге, потом разочаровался в этой идее, не оправдавшей его ожиданий, но все-таки продолжал таить в себе призрачную надежду на то, что эта идея еще проявит себя. После того как Мински покинул заседание в Бостоне, Хинтон собрал оставленные им листы и переслал их в офис Мински, сопроводив короткой запиской, в которой говорилось: «Возможно, вы оставили их случайно».

* * *

Джеффри Эверест Хинтон родился в английском городе Уимблдон сразу после Второй мировой войны. Он является одновременно прапраправнуком Джорджа Буля, математика и философа девятнадцатого столетия⁶⁷, чья «булева алгебра» является математическим фундаментом всех существующих компьютеров, и Джеймса Хинтона, хирурга⁶⁸, жившего в том же столетии, который написал историю Соединенных Штатов Америки. Его прадедом был Чарльз Говард Хинтон, математик и писатель-фантаст⁶⁹, чье представление о «четвертом измерении» – включая так называемый «тессеракт» – продолжает будоражить умы любителей научной фантастики вот уже сто тридцать лет. Своего пика в поп-культуре эта идея достигла в 2010-е годы в марвеловской серии фильмов о супергероях. Его двоюродный дедушка Себастьян Хинтон изобрел серию тренажерных снарядов для детей⁷⁰, а его кузина Джоан Хинтон, физик-ядерщик, была одной из немногих женщин, участвовавших в проекте «Манхэттен». Он рос в Лондоне, а потом в Бристоле в обществе брата и двух сестер, мангуста, дюжины дальневосточных черепах и двух гадюк, которые жили в яме в задней части гаража. Его отцом был энтомолог Говард Эверест Хинтон, член Лондонского королевского общества, чей круг интересов отнюдь не ограничивался насекомыми. Как и отец, своим вторым именем Джеффри был обязан еще одному своему родственнику, Джорджу Эвересту, главному геодезисту Индии⁷¹, в честь которого названа также высочайшая вершина мира. В том, что Джеффри пойдет по стопам отца и тоже станет ученым, в семье никто не сомневался. Вопрос был лишь в том, что именно он будет изучать.

Ему захотелось изучать человеческий мозг. Интерес к этой теме, по его собственным словам, пробудился в нем еще в подростковом возрасте, когда кто-то из друзей сказал ему, что мозг можно уподобить голограмме: в своей сети нейронов он хранит обрывки воспоминаний примерно так же, как голографическая пластина хранит элементы трехмерного изображения. Аналогия, конечно, упрощенная, но эта идея увлекла Хинтона. Став студентом Кингс-колледжа в Кембридже, он надеялся лучше изучить устройство и работу человеческого мозга. Проблема была в том, что мало кто разбирался в этом лучше, чем он сам. Ученым были известны функции отдельных участков мозга, но не было понимания того, как эти части взаимодействуют друг с другом и как они в конечном счете наделяют человека способностью видеть, слышать, запоминать, учиться и мыслить. В поисках ответа Хинтон пробовал обращаться к физиологии и химии, к физике и психологии, но ни одна из этих научных дисциплин не содержала в себе ответы, которые он искал. Он занялся было подготовкой диссертации по физике, но скоро понял, что для этого недостаточно силен в математике, и переключился на философию. Потом он и философию забросил, сменив ее на экспериментальную психологию. В конце концов, несмотря на давление со стороны отца, который хотел, чтобы сын продолжал учебу, – а может быть, благодаря этому давлению, – Хинтон вообще оставил научную стезю. Еще будучи ребенком, он видел в отце не только ученого-интеллектуала, но и физически очень сильного мужчину: этот член Лондонского королевского общества мог отжиматься на одной руке. «Упорно трудись и, быть может, когда станешь вдвое старше, чем я сейчас, достигнешь хотя бы половины того, чего достиг я», – говорил он сыну без тени иронии. Поэтому после окончания Кембриджа Хинтон, желая выйти из тени отца, перебрался в Лондон и стал плотником. «Я занимался этим не ради развлечения, – говорит он. – Я зарабатывал этим на жизнь».

В том же году он прочитал книгу канадского психолога Дональда Хебба «Организация поведения». В своей книге автор пытался объяснить базовые биологические процессы⁷², позволяющие мозгу учиться. Процесс учебы, полагал Хебб⁷³, происходит в форме цепочки крошечных электрических сигналов между нейронами мозга, в результате которых меняется физическая картина соответствующих нейронных связей. Между одновременно возбуждающимися нейронами формируются прочные связи. Эта теория, получившая название «закон Хебба», в 1950-е годы вдохновила таких ученых, как Фрэнк Розенблатт, на создание искусственных нейронных сетей⁷⁴. И для Джеффа Хинтона она тоже стала источником вдохновения. Каждую субботу он приходил с блокнотом в библиотеку – а жил он тогда в Ислингтоне, в северной части Лондона, – и до обеда строчил свои собственные теории, объясняющие – на основе идей Хебба, – как работает мозг. Эти субботние записи он делал исключительно для себя, но со временем они побудили его вернуться в науку. По времени это совпало с первой волной финансирования разработок искусственного интеллекта со стороны британского правительства и расширением приема в аспирантуру Эдинбургского университета.

В те годы печальная реальность была такова, что как нейробиологи и психологи плохо понимали, как работает мозг, так и разработчикам искусственного интеллекта было еще далеко до успешной имитации работы человеческого мозга. Но, во многом подобно Фрэнку Розенблатту, Хинтон был убежден в том, что только изучение обеих сторон этого уравнения – принципов работы как биологического мозга, так и искусственного интеллекта – поможет лучше разобраться в том и в другом. Он видел в разработках ИИ возможность проверить свои теории о мозге, что в конечном счете даст шанс раскрыть его тайны. И если он сможет проникнуть в тайны мозга, это, в свою очередь, поможет ему создать более эффективные формы ИИ. Поэтому, проработав год плотником в Лондоне, он на короткое время устроился психологом в Бристольский университет, где работал его отец, и это послужило трамплином для того, чтобы стать участником программы разработки ИИ, которая в то время как раз разворачивалась в Эдинбургском университете. Годы спустя один коллега, представляя его на одной из конференций, назвал Хинтона человеком, который потерпел неудачу в физике, ушел из психологии и в конце концов нашел себя в области исследований, где не было никаких стандартов: в разработке ИИ. Эту историю любил рассказывать сам Хинтон, но с одним уточнением: «Я не потерпел неудачу в физике и ушел из психологии; я потерпел неудачу в психологии и ушел из физики – это намного солиднее звучит».

В Эдинбурге он попал в лабораторию, которой руководил Кристофер Лонге-Хиггинс. Долгое время Лонге-Хиггинс занимался теоретической химией⁷⁵ в Кембридже и считался восходящей звездой в этой области, но в конце 1960-х его увлекла идея искусственного интеллекта. Поэтому он переехал из Кембриджа в Эдинбург и занялся изучением той разновидности ИИ, которая имела немало общего с методами, на которых был построен «Перцептрон». Его коннекционистский подход вполне согласовывался с теми теориями, которые разрабатывал по субботам в ислингтонской библиотеке Хинтон. Но эта интеллектуальная гармония оказалась скоротечной. За время, прошедшее между днем, когда Хинтон принял приглашение занять место аспиранта в лаборатории Лонге-Хиггинса, и днем, когда он туда прибыл, взгляды руководителя лаборатории успели кардинально измениться. Прочитав книгу Мински и Пейперта «Перцептроны» и статью о системах обработки текстов на естественных языках, написанную одним из студентов Мински в МТИ, он отказался от идеи искусственного интеллекта, моделирующего структуру мозга, и переключился на идею символического ИИ – что укладывалось в общий тренд того времени. Это привело к тому, что все годы, проведенные в аспирантуре, Хинтон занимался исследованиями в тех направлениях, которые отвергались не только его коллегами, но и непосредственным научным руководителем. «Мы встречались раз в неделю, – говорит Хинтон. – Иногда встречи заканчивались перепалками, но не каждый раз».

У Хинтона было очень мало опыта в области информатики, и он совершенно не интересовался математикой, включая линейную алгебру, на которую опирается теория нейронных сетей. Иногда он практиковал то, что сам называл «дифференцированием на доверии». Он придумывал идею, включая систему дифференциальных уравнений, на которые она опиралась, и просто предполагал, что математически там все безупречно, предоставляя другим трудиться над расчетами, необходимыми для того, чтобы удостовериться, что это действительно так, и лишь в крайних случаях снисходил до того, чтобы решать уравнения самостоятельно. Но он имел твердую уверенность в том, как работает мозг – и как машины могли бы имитировать работу мозга. Когда он сообщал кому-нибудь из научного сообщества, что занимается нейронными сетями, его собеседники неизменно ссылались на книгу Мински и Пейперта. «Нейронные сети опровергнуты, – говорили ему. – Лучше бы вам заняться чем-нибудь другим». Но если других ученых книга Мински и Пейперта все дальше отталкивала от нейронных сетей, то на Хинтона она оказала противоположное действие. Он прочитал эту книгу, уже будучи в Эдинбурге. Ему казалось, что «Перцептроны», описанные Мински и Пейпертом, были скорее карикатурой на работу Розенблатта. Они отказывались признать, что Розенблатт и сам видел в своей технологии те же самые недостатки и ограничения, которые видели они. Другое дело, что Розенблатту недоставало их мастерства в описании этих недостатков, и, возможно, именно по этой причине он не мог к ним подступиться. Он был не из тех, кого остановит неспособность доказать справедливость своих теорий. Хинтон полагал, что, четко и красноречиво указав на ограничения, присущие технологии Розенблатта, Мински и Пейперт облегчили будущим исследователям задачу преодоления описанных ими проблем.

Но для этого потребуется еще десять лет.

* * *

В 1971 году, в тот самый год, когда Хинтон поступил в аспирантуру Эдинбургского университета, британское правительство заинтересовалось прогрессом, достигнутым в разработках искусственного интеллекта, и заказало соответствующее исследование⁷⁶. Результат оказался неутешительный. «Большинство сотрудников, занимающихся искусственным интеллектом⁷⁷ или работающих в смежных областях, признаются, что разочарованы тем, чего им удалось достичь за последние двадцать пять лет, – говорится в отчете. – Ни в одном из направлений не были достигнуты сколько-нибудь существенные результаты, которые бы соответствовали ожиданиям». По этой причине правительство решило урезать финансирование, и наступила «зима искусственного интеллекта», как впоследствии назвали этот период. Оправдываясь тем, что, несмотря на ажиотаж, поднятый вокруг тематики ИИ, научно-технические достижения в этой области оставались более чем скромными, государственные чиновники отказывали ученым в дополнительных инвестициях, что ввергло большую часть таких исследований в «спячку» и в еще большей степени замедлило прогресс. Название этому периоду было дано по аналогии с «ядерной зимой» – последствием ядерной войны, когда небо затягивается дымом и пеплом и солнечные лучи на протяжении многих лет не могут пробиться к поверхности земли. К тому времени, когда Хинтон закончил работу над своей диссертацией, от той научной дисциплины, где он работал, осталось практически пепелище. Тогда же умер его отец. «Старый хрыч умер до того, как я добился успеха, – говорит Хинтон. – Да еще у него был рак с высоким уровнем риска передачи по наследству. Таким образом, он напоследок и меня решил поскорее уморить».

«Зима искусственного интеллекта» становилась все холоднее, и закончивший аспирантуру Хинтон принялся за поиски работы. Только один университет пригласил его на собеседование, и у него не осталось другого выбора, как обратить свой взор на заграничные вузы, включая американские. В США исследования ИИ тоже угасли, поскольку американские чиновники пришли к тем же неутешительным выводам, что и их британские коллеги, и сократили финансирование университетов. Но на самом юге Калифорнии, к своему изумлению, Хинтон нашел-таки небольшую группу людей, которые верили в ту же идею, что и он сам.

Они называли себя «группой PDP». Понятие PDP, что расшифровывалось как «параллельно распределенная обработка», служило фактически синонимом для таких понятий, как «перцептроны», «нейронные сети» или «коннекционизм». И здесь еще имелась игра слов. В те годы – в конце 1970-х – аббревиатурой PDP обозначался компьютерный чип, который использовался в самых мощных машинах того времени. Но люди, называвшие себя «группой PDP», компьютерщиками не были. Они даже разработчиками ИИ себя не считали. Группа включала в себя нескольких специалистов с кафедры психологии Калифорнийского университета в Сан-Диего и, как минимум, одного нейробиолога, Фрэнсиса Крика из Института биологических исследований имени Солка, расположенного буквально через дорогу от университетского городка. Прежде чем обратить свое внимание на исследования мозга, Крик удостоился Нобелевской премии за открытие структуры молекулы ДНК. Осенью 1979 года он опубликовал на страницах журнала Scientific American призыв к широкому научному сообществу⁷⁸ хотя бы попытаться понять, как работает человеческий мозг. Хинтон, занявший место постдока в Калифорнийском университете в Сан-Диего, испытал своего рода культурно-научный шок. Если в научном сообществе Великобритании царила интеллектуальная монокультура, то в США хватало место для приверженцев самых разных научных взглядов. «Здесь способны уживаться между собой самые разные точки зрения», – говорит он. Здесь, если он сообщал кому-то, что занимается нейронными сетями, его слушали.

Между Фрэнком Розенблаттом и тем, чем занимались в Сан-Диего, существовала прямая связь. В 1960-е годы Розенблатт и другие ученые рассчитывали создать искусственную нейронную сеть нового типа, которая бы состояла из нескольких «слоев» нейронов. В 1980-е годы на это же надеялись ученые, работавшие в Сан-Диего. «Перцептрон» был однослойной нейронной сетью, то есть был только один слой нейронов между входящей информацией (большая буква А, напечатанная на картоне) и выходящей (сообщение компьютера, что он видит букву А). Но Розенблатт полагал, что, если удастся построить многослойную сеть, где информация будет передаваться с одного слоя на другой, эта система сможет научиться распознавать гораздо более сложные паттерны, чем мог «Перцептрон». Иными словами, эта система будет в большей мере походить на человеческий мозг. Когда «Перцептрон» анализировал картонку с напечатанной на ней буквой А, каждый из нейронов изучал одну из точек на изображении, пытаясь понять, является ли данная точка частью трех линий, составляющих букву А. Но для многослойной сети это было бы только отправным моментом. Покажите этой системе, скажем, фотографию собаки, и за этим последует гораздо более сложный анализ. Первый слой нейронов сканирует каждый пиксель изображения. Он черный или белый, коричневый или желтый? Затем этот первый слой передает ту информацию, которую он идентифицировал, второму слою. Нейроны второго слоя высматривают в полученной информации определенные паттерны. Например, отрезок прямой линии или дугу. Третий слой выискивает паттерны в паттернах. Он уже может свести концы с концами и увидеть ухо или зуб. В конечном счете такая многослойная сеть может научиться идентифицировать собаку. По крайней мере, такая была идея. Никто в реальности не пытался ее осуществить и проверить. И вот в Сан-Диего решили попробовать.