Цитаты из книги «Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта»

Backpropagation (backward propagation of errors) переводится буквально как обратное распространение ошибок. Сегодня так называют наиболее популярный метод обучения многослойных персептронов, то есть нейронных сетей с прямой связью (feedforward neural network). Такие сети отличаются возможностью реализовать в них обратную связь, этот необходимый компонент практически любого самообучения. В данном случае использование обратной связи в процессе обучения предполагает два прохода по всем слоям сети: прямого и обратного. При прямом проходе входной поток данных подается на входной слой нейронной сети, после чего он распространяется по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого, в результате чего формируется сигнал ошибки. Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название – алгоритм обратного распространения ошибки. Синаптические веса настраиваются с целью

Актуальные сегодня способности «воспринимать, распознавать и идентифицировать» – это те ключевые понятия, которые отличают точку зрения Розенблатта на AI от того, что вкладывали в представление об AI отцы-основатели, ведомые Минским и Маккарти. Розенблатт не пытался возложить на машину свойственные человеку функции, но предложил использовать ее для расширения способностей человека.

Первым человеком, попытавшимся доступными ему скудными техническими средствами преодолеть барьер современного ему компьютинга и реализовать какое-то подобие PDP, был Фрэнк Розенблатт. Он ввел понятие персептрон (от латинского perceptio – восприятие) для математической или компьютерной модели восприятия информации мозгом. С тех пор представление о персептроне заметно изменилось, в современных учебниках и энциклопедиях персептрон трактуется и как математическая или кибернетическая модель восприятия информации мозгом, и как виртуальное устройство, состоящее из элементов трех типов: датчиков (тип S), передающих сигналы ассоциативным элементам (тип A) и далее реагирующим элементам (тип R). Собранные в группу такие устройства способны к восприятию (перцепции) в частном случае зрительных образов.

Возникают естественные вопросы: «Что задержало развитие машинного обучения как базиса для AI на несколько десятилетий? Почему оно уступило свое место символьному подходу, чтобы потом возродиться и практически полностью его вытеснить?» Ответ довольно прост, он обращает нас в проблеме «mind and body» (тела и души) – машинному обучению нужно тело, нужна система параллельной

распределенной обработки данных (Parallel Distributed Processing, PDP), что принципиально невозможно на компьютерах, построенных по фон-неймановской схеме, вполне удовлетворяющей требованиям символического подхода. Как только открылась технологическая возможность материализации альтернативного символическому коннекционистского подхода машинное обучение расцвело бурным цветом.

За прошедшее время правило Хебба стало предметом многочисленных обсуждений, возникли его многочисленные модификации, но по сути оно остается единственным теоретическим основанием ML, поскольку нейрофизиологический постулат, выдвинутый Хеббом, имеет под собой прочное биологическое основание.

При возбуждении одновременно двух соседствующих нейронов вес синаптического соединения между ними возрастает, уменьшается или не изменяется в зависимости от выбора функции активации. Это предположение называют Правилом обучения Хебба.

Дональд Хебб признан основоположником ассоциативного машинного обучения, в некоторой мере напоминающего ассоциативное обучения человека. В психологии под ассоциативным обучением понимают способность приобретать знание, привычки, умение, навыки, представления, предпочтения и т. д. Для человека оно не является единственным, педагогика насчитывают около двух десятков типов обучения, к которому способен человек, машины же способны только к одному типу обучения – ассоциативному (Associative learning), ограниченному только тем, что в его процессе обучаемый обнаруживает связь (ассоциацию) между двумя стимулами или событиями. В полном смысле этого слова к ассоциативному обучению способен только человек, существенно меньшими способностями обладают животные. В XX веке в этом ряду обучаемых систем появилась машина.

когда обучается не программа, работающая на машине, как у него, а нейронная сеть, работа которой поддерживается машиной.

Мак-Каллок и Питтс продемонстрировали присущий ANN вычислительный потенциал, но чтобы его реализовать, нужен некоторый механизм для манипуляций с сетью. Каким он может быть? В традиционных компьютерах, ограниченных способностью выполнять последовательность команд, таким механизмом служит программирование. Хотя компьютер и является универсальным инструментом, но сам по себе он остается простым программным автоматом, он может выполнять заложенную в него программу, не более того. В связке компьютерного программного обеспечения с аппаратным «железо» – это постоянная часть, программа – переменная, она обеспечивает адаптацию компьютера к задаче. В ANN по определению нет специального механизма управления, нет и не может быть отдельно существующей внешней по отношению к сети программы, поэтому здесь нужен иной механизм, каким-то образом меняющий сеть, адаптирующий ее к решаемой задаче, превращающий ANN на время решения задачи из универсального механизма, готового к обучению, в специализированный механизм, и этот процесс и принято называть машинным обучением (ML).