Цитата из книги «Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта»

Основоположником того, что прямо скажем так, не совсем удачно названо и продолжают называть теорией информации, стал Клод Шеннон. Он обобщил работы предшественников и сформулировал основные положения того, что он сам назвал математической теории связи в одноименной статье (A Mathematical Theory of Communication, 1948), заметим, не теорией информации! От работ предшественников позицию Шеннона главным образом отличает углубленное представление информационной энтропии, как меры хаотичности информации. Предельно упрощая, информационная энтропия – это то, насколько много информации вам не известно о системе. Под информацией Шеннон понимал лишь сигналы, несущие содержание, которое распознает получатель, роль которого он не принимал во внимание. В процессе передачи данных изначальная энтропия уменьшается, поэтому сумма оставшейся энтропии и переданной информации равна начальной. Хотя Шеннон и оперирует понятием информации, точного определения он не предлагает, впрочем, оговаривая, что сообщения могут иметь какое-то