Цитаты из книги «Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens»

Сознающая себя самосовершенствующаяся система будет стремиться к наилучшему выполнению поставленных перед ней задач и минимизации уязвимостей; для этого она будет улучшать себя. Она будет стремиться не к мелким улучшениям, а к серьезному непрерывному развитию всех аспектов своих когнитивных способностей, особенно отвечающих за развитие интеллекта. Она будет стремиться к интеллекту уровня выше человеческого,

ИИ человеческого уровня, когда будет создан, может оказаться непредсказуемым и опасным, но, вероятно, в краткосрочной перспективе не катастрофически.

мотиватор не менее мощный, чем специально встроенные в нее цели и подцели

для достаточно разумной системы уход от уязвимостей —

Омохундро прав относительно создателей ИИ: те, с кем я разговаривал, заняты исключительно гонкой и стремятся побыстрее создать разумные системы; они не считают, что результат их работы может быть опасен. При этом большинство из них в глубине души убеждены, что машинный интеллект со временем придет на смену человеческому интеллекту. Они не думают о том, как именно произойдет такая замена.

чрезвычайно сложные, почти непознаваемые ИИ-системы, непредсказуемое взаимодействие с другими системами и более широкой информационно-технической средой и, наконец, ошибки, возникающие на фоне огромных вычислительных скоростей, делают вмешательство человека бессмысленным.

Никто не предвидел, что события могут так подействовать друг на друга, поэтому никто вовремя не понял, что происходит.

Перроу пишет: «Мы породили конструкции настолько сложные, что не в состоянии предвидеть все возможные сочетания неизбежных отказов; мы добавляем все новые устройства безопасности, которые вводятся в заблуждение, обходятся или подавляются скрытыми в системах способами».

Но существует молодая наука о поведении сверхразумного агента, и начало ей положил Омохундро.

сегодняшним вычислительным облакам Google, горячие мыслящие машины будущего, вероятно, будут нуждаться в охлаждении; в противном случае они могут попросту расплавиться.