Цитаты из книги «Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта»

Трансферное обучение Всё нынешнее глубокое обучение относится к категории обучения с учителем (supervised DL), ставшего новой классикой. Оно обладает несколькими врожденными недостатками. По определению для него требуются чрезвычайно большие объемы данных на этапе обучения и соответственно большие вычислительные мощности. В ряде случаев требуется такая вычислительная мощность, что решение сопряженно с существенными энергетическими затратами, но полученная при этом модель способна решать только одну задачу, что снижает эффективность. То есть модель, обученная для решения одной задачи настолько специальна, что не может быть полезной для решения другой задачи, для нового решения потребуются новые данные для обучения и новые затраты на обучение. Избавлением от этого врожденного недостатка станет модифицированный тип DL, который получил название transfer learning (TL), его можно перевести как «обучение с переносом», но чаще используют кальку английского термина «трансферное обучение». TL отличается тем, что «знание», полученное при тренировке модели, сохраняется для последующего повторного использования, чем напоминает обучение человека, с той разницей, что машинное знание не имеет ничего общего с человеческим, оно не может служить источником для самостоятельной деятельности. Знание в данном случае сводится к возможности полного или частичного использования ранее обученной модели для решения новой задачи. TL повышает эффективность DL при условии родственности решаемых задач. Если модель обучена на распознавание кошек, то она окажется бесполезной для распознавания собак. Общие идеи относительно возможностей TL и сам термин предложила известная специалист в этой области Лорин Пратт еще в 1993 году, но путевку в жизнь этому направлению в DL дал Эндрю Ын в своем ставшем широко известным выступлении на конференции Neural Information Processing Systems (NIPS) 2016. По его мнению, TL должно стать следующим стимулом для коммерческого успеха после обучения с учителем. На данный момент видится несколько стратегий внедрения TL. Это может быть прямое использование заранее обученной модели (pre-trained models) для определенной области приложений, например NLP. Пользователям уже доступны такие специализированные как BERT, YOLO, GloVe, UnsupervisedMT и другие. Или же можно тем или иным способом воспользоваться обученной моделью для частичного экстрагирования сведений из ранее натренированного набора данных с тем, чтобы потом перенести их другую модель.

Открытие Хопфилда прорвало плотину, с его работы начался активный поиск других шаблонов для моделей нейронных сетей.

Объединив нейронную и физическую модели, Хопфилд сумел перевести коннекционизм с уровня абстрактных рассуждений на прагматический уровень с возможными в будущем практическими приложениями. Таким образом он положил начало новой эре, той в которой мы живем сейчас, когда машинное обучение вытеснило с положения доминирующей парадигмы в науке об искусственном интеллекте символический подход. По Хопфилду, нейронная сеть, которая изменяется во времени, подобна спиновому стеклу. Эта аналогия открыла возможность применить к машинному обучению математику, заимствованную из статистической физики! Сеть Хопфилда получила развитие в сети Хемминга предложенной Ричардом Липпманном в 1987 году. Сети Хопфилда и Хемминга остаются до нашего времени предметом изучения, наличие в них элементов ассоциативной памяти делает их полезными в задачах распознавания, но главное достижение Джона Хопфилда в том, что его работа стала первым камнем, вызвавшим лавину нынешнего массового распространения нейронных сетей и машинного обучения.

Сверточные сети Очередным шагом в развитии прикладного коннекционизма стало создание иерархической многослойной ANN сверточного типа (Convolutional Neural Network, CNN) в 1980 году. Японский исследователь Кунихика Фукусима (Kunihiko Fukushima) назвал ее неокогнитрон. Он занимался распознаванием рукописных текстов и взял в качестве прототипа идею когнитрона, ранее выдвинутую шведом Торстеном Визелем (Torsten Wiesel, 1924) и канадцем Дэвидом Хьюбелом (David Hubel, 1926–2013). В 1981 году Визель и Хьюбел стали лауреатами Нобелевской премии по физиологии и медицине «за открытия, касающиеся принципов переработки информации в нейронных структурах». Фундаментальные работы Визеля и Хьюбела по нейрофизиологии зрения заложили основы организации и развития нейронных цепей, ответственных за зрительное распознавание объектов. Иногда, например в той же русскоязычной википедии, открытие CNN ошибочно приписывают Яну Лекуну. В начале 80-х существенный вклад в развитие ANN сделал финский ученый Теуво Кохонен (Teuvo Kohonen, 1934 года). В течение многих лет он руководил Исследовательским центром нейронных сетей Технологического университета в Хельсинки, созданным специально для проведения научных исследований, связанных с его разработками. Этот класс ANN так и назван нейронными сетями Кохонена, он отличается наличием слоя, состоящего из адаптивных линейных сумматоров. «Самоорганизующаяся карта Кохонена», так их еще называют, применяется для решения задач моделирования, прогнозирования, выявления наборов независимых признаков, поиска закономерностей в больших массивах данных. Символично, что Теуво Кохонену была вручена награда имени Фрэнка Розенблатта.

Итак, коннекционизм начался с работ Уоррена Мак-Каллока и Уолтера Питтса, их считают основателями нейрокомпьютинга, поскольку они первыми показали как простые цепочки нейронов, объединенные в группы, оказываются способными к вычислению логических функций. Результатом работы дуэта MCP стала констатация того факта, что таблицы истинности любой сложности могут быть собраны из нейронов, они показали достаточные условия для воспроизведения логических функций средствами ANN. Предложенная ими в 1940 году простая модель нейрона (simple threshold model) реализует функцию, называемую threshold function, или activation function, она воплощается в устройстве threshold gate. На русский язык название функции переводится как функция активации нейрона, она определяет выходной сигнал, а ее значение определяется входным сигналом или набором входных сигналов. Обычно в этом качестве используется нормализуемая сигмоидная функция активации. Нейрон, выполняющий сигмоидную функцию, называют threshold neuron, или пороговый нейрон.

главным дефектом экспертных систем невозможность наделить их здравым смыслом. Во многих случаях предлагаемые ES решения оказывались абсурдными. Маккарти привел в качестве примера рецепт, выписанный экспертной системой MYCIN, он действительно обеспечил бы победу над болезнью, но попутно убил больного. Крах ES обычно связывают со сложностью и трудоемкостью поддержания базы знаний, но при этом забывают об одно важном факторе – о случившейся смене компьютерной парадигмы, о замене централизованных систем на базе мэйнфреймов и миникомпьютеров клиент-серверными конфигурациями, где человек мог работать в интерактивном режиме на ПК. Мир пошел по пути предсказанному Ликлайдером – создание трехзвенных систем управления «сервер – ПК – человек», где сервер служит для хранения и обработки данных, ПК предназначен автоматизации рутинной работы и для интерактивного взаимодействия человека с машиной в процессе принятия решений и других осмысленных действий. Это оказалось гораздо удобнее и проще.

Однако к середине семидесятых стала очевидной несущественность всех этих угроз

Местом реинкарнация символьного подхода стал математический факультет Дартмутского колледжа, где летом 1956 года группа ученых собралась на семинар, вошедший в историю как Dartmouth Workshop. Имевшие там место события стали основой для мифа о рождении AI в городе Хановере (штат Нью-Гэмпшир), название которого пишется через одно «н» в отличие от немецкого Ганновера, столицы Нижней Саксонии. Историческое значение рабочей группы, так переводится workshop, собравшей несколько десятков лучших умов, заключается в двух моментах. Во-первых, здесь было предано гласности словосочетание Artificial Intelligence (AI) и, во-вторых, здесь был постулирован символьный подход (Symbolic AI), как единственно возможный для создания AI. Эти два обстоятельства предопределили весь последующий ход событий в истории AI на много лет вперед, вплоть до 90-х годов. Как показала жизнь, амбициозное название AI утвердилось и, скорее всего, навечно, альтернативы ему нет. Что же касается символьного подхода, то он оказался куда менее долговечен, и после двух взлетов и падений прекратил свое существование.

Все существовавшие и существующие компьютеры строятся по одной из двух архитектур, созданных три четверти века назад. В подавляющем большинстве (99,9 %) по принстонской, которую не вполне справедливо называют фон-неймановской (ФНА). Неизмеримо меньшее число специализированных сигнальных процессоров созданы по альтернативной гарвардской архитектуре. Этими двумя архаичными на сегодняшний день решениями ограничено все разнообразие компьютерных архитектур. Их объединяет главное – программный принцип управления последовательным выполнением команд, в том и другим случае процессор отрабатывает записанную в память программу. В первом случае данные и программа хранятся в общей памяти, а во втором – раздельно.

Качественное отличие третьей волны от первых двух в том, что она реализует схему «снизу-вверх» по Тьюрингу, в ее основе лежит коннекционистский подход, альтернативный символьному. В отличие от процессора нейронная сеть не может быть запрограммирована, но ее можно «обучить» тем или иным образом, после чего она способна моделировать простейшие процессы, происходящие в мозге. На данный момент многообразие методов обучения, сводится к предъявлению нейронной сети большого объема данных с тем, чтобы она смогла настроиться на них и находить решения. По большей части все, что называют AI-приложениями третьей волны ограничено компьютерным зрением (Computer Vision, CV) и обработкой текста на естественном (Natural Language Processing). В отличие от первых двух волн эти приложения относятся не просто к просто узкому или слабому AI (Narrow, Weak AI), а являются сугубо специализированным AI-решениями, которые называют AI, скорее, как дань традиции.