Вышеописанные классификации рисков сформированы исключительно через призму информационной безопасности. И это оправдано для КФС и роботов, которые согласно приведенным в начале раздела данного отчета понятиям являются просто машинами (или совокупностью машин) и представляют опасность только в случае их неисправной работы, вызванной внутренним сбоем или вмешательством извне.

Такие риски будут являться специфическими, и они могут зависеть от конкретного роботизированного устройства или применяемой инфокоммуникационной технологий в КФС.

В Российской Федерации принят ряд национальных стандартов, устанавливающих требования по безопасности эксплуатации роботов с учетом оценки рисков их использования. К примеру, в «ГОСТ Р 60.1.2.1—2016/ ИСО 10218—1:2011. Национальный стандарт Российской Федерации. Роботы и робототехнические устройства. Требования по безопасности для промышленных роботов. Часть 1. Роботы» [48] в приложении А в форме таблицы приведен список существенных опасностей для робота и его подсистем, состоящий из 10 типов или групп опасностей (механические, электрические, термические, эргономические; опасности от шума, вибраций, излучения, материалов/веществ; опасности, связанные с внешней средой, в которой используется машина; комбинации опасностей). Чтобы идентифицировать любые опасности, которые могут возникнуть, должен быть осуществлен анализ опасностей.

Общая оценка рисков должна быть выполнена для всех опасностей, выявленных при идентификации опасностей.

В «ГОСТ Р 60.2.2.1—2016/ИСО 13482:2014. Национальный стандарт Российской Федерации. Роботы и робототехнические устройства. Требования по безопасности для роботов по персональному уходу» список существенных опасностей роботов, предназначенных для персонального ухода, содержит 85 разновидностей. Данным стандартом предусмотрена общая оценка рисков, включающая не только идентификацию опасности с целью выявления любых опасностей, которые могут возникнуть для конкретного робота по персональному уходу, но и оценку рисков. При этом оценка риска должна быть выполнена для всех опасностей, выявленных при идентификации опасностей, «с обращением особого внимания на разные ситуации, в которых робот по персональному уходу может контактировать с объектами, связанными с безопасностью.

После того как все меры по безопасности конструкции и защите приняты, должен быть оценен остаточный риск робота по персональному уходу и должно быть обосновано, что этот риск снижен до приемлемого уровня» [49].

Благодаря системе технического нормирования [50] можно своевременно и гибко регулировать со стороны государства риски использования роботов и объектов робототехники.

Риски использования искусственного интеллекта (ИИ)

ИИ представляет собой совершенно новую сущность, субстанцию, одно только использование которого уже рождает множество этических, правовых и технических проблем. В отличие от роботов и киберфизических систем ИИ способен самостоятельно принимать решения и самообучаться. Негативные последствия от функционирования ИИ могут быть результатом не только откровенной ошибки при его разработке, иногда такие последствия становятся результатом самостоятельных действий ИИ, разработчики которого даже не могли их предугадать. В связи с этим использование ИИ само по себе может нести определённые угрозы, которые необходимо учитывать.

Как правило, риски использования ИИ подразделяют на общие и применительно к сфере информационной безопасности.

В подготовленном исследователями Оксфордского университета докладе под редакцией Пьерлуиджи Поганини, посвящённом основным угрозам человечеству, ИИ входит в число 12 рисков, которые потенциально могут уничтожить человеческую расу [51].

Данные риски в докладе классифицированы по 4 группам: Текущие риски; Внешние риски; Развивающиеся риски; Риски глобальной политики.

К первым исследователи отнесли глобальное потепление и угрозу ядерной войны. Ко вторым – возможность столкновения Земли с астероидом. Под рисками глобальной политики исследователи понимают риски, связанные с глобальным правительством. К развивающимся рискам были отнесены риски, создающиеся руками человека, как, например, синтетическая биология и ИИ. Относительно ИИ в докладе поддерживается следующее мнение: «Искусственный интеллект, похоже, обладает огромным потенциалом для целенаправленной работы по уничтожению человеческой расы. Хотя, синтетическая биология и нанотехнологии наряду с искусственным интеллектом могут стать ответом на многие существующие проблемы, однако, при неверном использовании, это, вероятно, может быть худшим инструментом против человечества» [51].

Анализируя риски использования ИИ, следует четко разграничивать понятия «сильного искусственного интеллекта» и «слабого искусственного интеллекта». Сильный ИИ – это интеллект, который подобно человеческому, может решать различные задачи, мыслить, адаптироваться к новым условиям [52]. То есть, по сути, интеллект, способный выполнять все те же функции, которые выполняет интеллект человека. На данный момент такого интеллекта не существует. Существует лишь слабый ИИ – интеллект, способный выполнять узкоспециализированные задачи [52].

Несмотря на то, что сильный ИИ – вещь из разряда фантастики, многие исследователи склонны считать, что его разработка вполне возможна. По мнению экспертов «Центра изучения экзистенциальной угрозы» при Кембриджском университете создание «сверхразума» возможно уже в этом столетии [53]. В связи с этим эксперты Центра отмечают наиболее высокие риски, связанные с таким ИИ. Они их разделяют на риски, связанные с несчастными случаями (safety risks), и на риски, связанные со злоупотреблением таким ИИ (security risks). К первым они относят возможность выхода из строя ИИ со всеми вытекающими катастрофическими последствиями (особенно, в случае если от функционирования ИИ зависит работа критически важной инфраструктуры). Ко вторым отнесены угроза попадания технологий в руки «плохих актёров» на международной арене и угроза дестабилизирующей гонки вооружений в области ИИ^[2]. О рисках внедрения сильного ИИ можно много рассуждать, но это имеет мало практического смысла, так как, о чём уже говорилось выше, данные технологии отсутствуют в настоящее время. Поэтому перейдём к рискам использования слабого ИИ.

Так, эксперты говорят о возможности манипуляции общественным мнением посредством искусственного интеллекта [54]. Медиа-ресурсы уже давно и достаточно успешно используют автономные алгоритмы для целевого маркетинга. Но, если ИИ умеет подбирать интересующие пользователя товары, он также может, используя определённые личные данные, представить ему необходимую информацию в том виде и в том формате, в котором он сочтёт её наиболее достоверной, тем самым манипулируя восприятием пользователя.

Риск манипулирования общественным мнением вытекает из риска вторжения в личную жизнь пользователя посредством ИИ. Жизнь современного человека и так находится под постоянным присмотром различных систем сбора и анализа данных, начиная с сервисов целевой рекламы, и заканчивая камерами видеонаблюдения, которыми оборудованы все крупные мегаполисы. ИИ, в свою очередь, является эффективным инструментом для анализа всей собираемой информации. Аккумулируя информацию из нескольких источников, искусственный интеллект может достаточно точно формировать психологический и поведенческий портрет человека. Определять сферу его интересов, круг общения и многое другое. Сбор подобной информации о человеке может принести не только внутренний дискомфорт, но и определённые негативные материальные последствия. Например, в Китае уже введена система социального кредитования, согласно которой каждому гражданину присвоен личный балл на основании его поведения. Система оценивает надёжность граждан Китая по разным критериям, в том числе, по тому, ходят ли они по улице, покупают ли китайские товары, что они размещают в интернете. Люди с высокими баллами получают право получить скидки на счета по электроэнергии или лучшие процентные ставки по вкладам. Граждане с низким рейтингом наоборот ограничиваются в правах. Например, по некоторым данным, им может быть ограничен высокоскоростной интернет. По сведениям CBS почти 11 миллионов китайцев из-за введения рейтинга кредитования не смогут воспользоваться услугами авиаперевозчиков, а 4 миллиона – поездами [55]. В связи с этим отмечается такой риск использования ИИ как риск дискриминации.

Также эксперты отмечают ещё и риск несогласованности целей машин и людей. Связан он, тем, что команды, в которые человек закладывает определённый смысл, могут быть совершенно по-иному интерпретированы машиной. Например, команда «доставь меня в аэропорт как можно быстрее» может иметь крайне негативные последствия. Если не уточнить, что нужно соблюдать правила дорожного движения, так как человеческая жизнь ценнее потерянного времени, то ИИ может дословно исполнить указание и оставить за собой шлейф несчастных случаев и аварий.

Наносить вред ИИ может не только в результате недоработок разработчиков и неверной интерпретации команд, но и в результате определённого внешнего воздействия. Для того чтобы оценить опасность такого негативного влияния извне на ИИ обратимся к рискам использования ИИ с позиции информационной безопасности.

Но прежде следует сказать, что ИИ – это инструмент, средство достижения тех или иных целей и, соответственно, он, как и любой другой инструмент, может использоваться как в общественно полезных целях, так и в преступных целях. Специалисты в области информационной безопасности ожидают, что уже в ближайшем будущем ИИ может появиться на вооружении киберпреступников. Об этом, в частности, говорит Дэвид Капуано, коммерческий директор компании BluVector, занимающейся разработками решений в области кибербезопасности [56]. Эксперт предупреждает об опасности проведения злоумышленниками более мощных и неуловимых атак с использованием технологий ИИ. По мнению Д. Капуано, несмотря на то, что сейчас технологии осуществления атак с использованием ИИ находятся в зачаточном состоянии, в ближайшее время они будут стремительно развиваться. Способствовать этому будет увеличение потенциальной прибыли в результате проведения подобных атак и то, что между киберпреступниками налажен более активный обмен информацией и инновациями, чем между теми, кто им противостоит.

Эксперты предполагают, что ИИ может найти применение при осуществлении преступниками фишинговых атак (то есть, атак, направленных на обман пользователя, в результате чего он либо передаёт конфиденциальную информацию злоумышленнику, либо загружает вредоносное программное обеспечение на своё устройство). ИИ может способствовать автоматизации таких атак или упростить их проведение путём, например, синтезирования голоса человека [57]. Злоумышленники могут использовать ИИ также для поиска уязвимостей и для автоматизированного использования обнаруженных уязвимостей. Стоит подчеркнуть, что и сейчас существуют инструменты, автоматизирующие вышеуказанные процессы, однако, в случае использования ИИ, процесс поиска уязвимостей и их эксплуатации будет происходить совершенно в других масштабах и на совершенно ином уровне. В случае злонамеренного использования технологий ИИ возможно распространение ботнетов (компьютерных сетей, состоящих из устройств, зараженных вредоносным программным обеспечением, позволяющим использовать данные устройства в своих целях) без единого сервера управления. Борьба с такими ботнетами значительно усложнится, ведь обычно используемая тактика отключения управляющего сервера по отношению к таким ботнетам будет неэффективна. ИИ может быть использован для координации работы в автоматическом режиме обычных ботнетов, позволяя значительно расширить масштаб хакерских атак, в которых задействуются данные ботнеты. По мнению экспертов в области информационной безопасности серьёзную опасность представляет возможность создания искусственным интеллектом новых образцов вредоносного программного обеспечения. ИИ, анализируя недостатки вредоносного программного обеспечения, созданного человеком, способен сгенерировать более продвинутые его формы, значительно затрудняя обнаружение и нейтрализацию таких программ [58]. Кроме того, используя ИИ для разработки вредоносного программного обеспечения, киберпреступники могут сделать его устойчивым к сканированию тем искусственным интеллектом, задачей которого является обнаружением вредоносных программ [59].

Опасность представляет не только возможность использования технологий ИИ злоумышленниками, но и вполне благовидное использование программного обеспечения с поддержкой ИИ. По мнению Алекса Смита, директора по решениям в области информационной безопасности компании Intermedia, в результате распространения продуктов, использующих ИИ, компании столкнутся с ростом числа случайных уязвимостей и нарушений информационных безопасности, не связанных с действиями хакеров. В частности, эксперт отмечает, что без защиты могут остаться наборы данных, на основе которых обучался ИИ. Разглашение такой информации может иметь негативные последствия, как для имиджа компании, так и для тех, чьи сведения содержатся в такой выборке (особенно, если выборки составлены на основе данных из социальных сетей).

Кроме того, программные решения, основанные на технологиях ИИ, имеют свои слабые места и уязвимости. Например, исследователи отмечают следующие наиболее высокие риски по отношению к подобным программным решениям в результате эксплуатации тех или иных уязвимостей в алгоритме искусственного интеллекта [60]:

1. Риск атаки путём представления специально сформированных входных данных, чтобы исказить работу алгоритма искусственного интеллекта. Суть данной атаки заключается в том, что атакующий, вычисляя ошибки на выходе алгоритма по отношению к входным данным, может таким образом сформировать входные данные, чтобы на выходе получить интересующий его результат. Например, сформировав определённым образом код вредоносного программного обеспечения, атакующий может добиться того, чтобы проверяющий этот код искусственный интеллект счёл его заслуживающим доверия. Данная атака возможна в силу того, что выборка данных, на основании которых алгоритм проходил обучение, не всеобъемлюща. При получении входных данных, которые не содержались в обучающей выборке, алгоритм может выдать случайный результат.

2. Риск нарушения конфиденциальности обучающих данных. Атакующий, наблюдая, как алгоритм реагирует на те или иные входные данные, может вычислить те данные, на основании которых алгоритм обучался.