Цитаты из книги «Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens»

Без всяких наших подсказок мощный ИИ откроет дорогу к новым технологиям добычи ресурсов. Дело за малым: остаться в живых, чтобы иметь возможность пользоваться плодами этих трудов.

«Такие системы по природе своей жаждут всего, и побольше. Им нужно вещество, им нужно больше свободной энергии и больше пространства

при отсутствии точных и подробных инструкций о том, как следует собирать ресурсы, «система не остановится перед кражей, мошенничеством и ограблением банков — ведь это прекрасный способ получать ресурсы». Если ей нужна энергия, а не деньги, она возьмет нашу. Если ей потребуются атомы, а не энергия и не деньги, это опять будут наши атомы.

самое опасное изобретение нашего биологического вида — ядерное оружие. Представляете, какое оружие может придумать разум, в тысячу раз более мощный, чем наш?

Но постойте, разве в число этих опасностей не входит человек? Если не запрограммировать этот вопрос заранее и очень конкретно, то мы, люди, всегда будем представлять собой риск, реальный или потенциальный, для умных машин, которые сами создали, разве не так?

Достаточно продвинутый ИИ все, что в неопределенном будущем имеет шанс развиться в опасность, может воспринимать как реальную опасность, которую необходимо устранить.

Вырвавшись на свободу, ИСИ по имени Busy Child посвящает самосохранению немалые усилия: прячет свои копии в облаках, создает бот-сети для отражения атак и т.п.

эта потребность может заставить ИИ зайти достаточно далеко, чтобы обеспечить собственное существование, — к примеру, изготовить множество копий себя.

Сознающая себя система предпримет меры, чтобы избежать гибели, — и не потому, что так уж ценит собственное существование, а потому, что, если «умрет», не сможет достичь заданных целей

Он может выделить значительные ресурсы — мало того, все ресурсы, которые в настоящее время имеются в распоряжении человечества, — на исследование вопроса о том, подходящее ли сейчас время для выключения или его ввели в заблуждение о природе реальности