ANSI/BICSI 002–2019 Data Center Design and Implementation Best Practices

Это стандарт, выпущенный в США профессиональной ассоциацией BICSI (The Building Industry Consulting Service International Inc., Международная консалтинговая служба в строительной отрасли) и аккредитованный Американским национальным институтом по стандартизации (ANSI).

Строго говоря, этот документ является не стандартом как таковым, а, как следует из его названия, best practices, то есть сборником методических указаний на основе практического опыта участников ассоциации BICSI. Этот американский отраслевой стандарт периодически упоминается в различных статьях. В основном он посвящен построению инфраструктуры ЦОД, хотя в нем есть и раздел, посвященный эксплуатации ЦОД. Ничего дополнительного по сравнению с вышеперечисленным этот стандарт не дает.

BICSI 009-2019 Data Center Operations and Maintenance Best Practices

Чтобы полноценно осветить область управления и обслуживания ЦОД, BICSI выпустила стандарт 009. Этот документ уже непосредственно относится к эксплуатации ЦОД и рекомендуется к изучению теми, кто в этот процесс вовлечен. Внимание уделено не только повседневной жизни ЦОД – безопасности труда, хранению материалов, техническому обслуживанию, ведению документации, – но и другим, не менее важным аспектам жизнедеятельности ЦОД: организации физической безопасности, сервис-менеджменту, процессам для руководства ЦОД и пр. Отметим, что стандарт содержит достаточно конкретные указания и его можно использовать при организации процессов обслуживания ЦОД.

Тем не менее полным и всеобъемлющим этот стандарт также назвать нельзя. Например, из всего набора документации ЦОД в нем подробно описываются только процессы, связанные с аварийными процедурами, другая необходимая документация не указана. Очень подробно описаны процессы управления изменениями, хотя это область общеприменимого сервис-менеджмента, которую рассматривают и другие стандарты. Виртуализация и кибербезопасность, упоминаемые в стандарте, также излишни для подобного документа.

EPI DCOS Data Center Operations Standard 2021

Стандарт, выпущенный отраслевой консалтинговой организацией EPI (Enterprise Products Integration). Представляет краткое описание процессов, которые должны быть организованы в ЦОД. Описание достаточно условное и по большей части ориентировано на процессы верхнего уровня – для менеджмента, без конкретных деталей. Стандарт можно использовать как общее описание процессов, которое хорошо сочетается с обучающими курсами (CDFOM – Certified Data Center Facilities Operations Manager, CDCS – Certified Data Center Specialist и др.) от этой же организации, содержащими много конкретных деталей и мелочей по каждому из пунктов.

ISO/IEC TS 22237–7:2018 Information technology – Data centre facilities and infrastructures – Part 7: Management and operational information

Разработка Международной организации по стандартизации (The International Organization for Standardization, ISO^[11]), посвященная вопросам строительства инфраструктуры ЦОД. Состоит из семи частей, каждая из которых относится к отдельному направлению построения ЦОД: общая концепция, строительство здания, распределение питания, климатика, телекоммуникации, безопасность и информация для менеджмента и управления. Интересующие нас процессы, связанные с организацией эксплуатации, находятся в последнем разделе. По содержанию практически полностью дублирует EN50600–3–1, описанный ранее^[12].

ГОСТ Р ИСО 9001–2015 / ISO 9001–2015 Quality Management

Стандарты ISO выпускаются Международной организацией по стандартизации (The International Organization for Standardization, ISO) и имеют применение по всему миру. В частности, стандарт ISO 9001 был локализован и выпущен Росстандартом как российский государственный стандарт (ГОСТ Р).

Стандарт ISO 9001 «Система менеджмента качества» особенно распространен в производственном секторе и для индустрии ЦОД не является профильным. Тем не менее достаточно многие требования стандарта применимы и здесь.

В данном стандарте мы находим много общего с требованиями TS: OS от Uptime Institute, например:

• Раздел «Цели в области качества и планирование их достижения» можно отнести к контролю функционирования ЦОД в рамках KPI и других параметров жизнедеятельности, к постановке целей менеджменту по достижению и контролю задач.

• Раздел «Обеспечение» регламентирует наличие персонала, необходимой инфраструктуры, ресурсов для мониторинга параметров качества. Тут мы вспоминаем отчетности, BMS, датчики систем и т. д. Также регламентируется наличие базы знаний, доступной всем на объекте и регулярно обновляемой.

• В разделе «Компетентность» указаны требования к квалификации – точно так же, как и в требованиях TS: OS.

• Отдельный раздел посвящен ведению и обновлению документации и управлению ею. Это важный момент, ему уделяется одинаково много внимания как в зарубежных стандартах, так и в отечественных регламентах.

• Важный момент в 9001 – контроль выполнения качества работ поставщиками. Это одна из основных задач команды эксплуатации ЦОД.

• Естественно, требуются постоянное улучшение практик, выявление несоответствий и корректирующие действия.

• Как и в других стандартах ISO, требуется наличие регулярных внутренних аудитов, что действительно полезно для поддержания уровня компетентности сотрудников.

Можно сказать, что выполнение требований ISO 9001 хорошо дополнит стандарт TS: OS, так как здесь есть детальные указания по документации, работе с поставщиками и несоответствиями. Немаловажен и значительный объем совпадений с требованиями российской нормативной документации, необходимой для функционирования ЦОД.

ГОСТ Р ИСО/МЭК 27001–2021/ISO 27001:2021 Information Security

Стандарт ISO 27001 «Информационная безопасность», на первый взгляд, к эксплуатации ЦОД применим мало. Традиционно этот стандарт, рассматривающий ИТ-безопасность и физическую безопасность, понимают как сборник требований, направленных на безопасность носителей информации и самой информации. На самом деле действие стандарта распространяется гораздо шире, в том числе и относительно эксплуатации.

Для понимания, почему информационная безопасность (ИБ) относится и к жизнедеятельности ЦОД, вспомним о том, что и понятие информационной безопасности, и оценка рисков исходят из трех составляющих CIA:

С – Confidentiality. Конфиденциальность, секретность. То, что обычно и связывают с информационной безопасностью.

I–Integrity. Целостность. Тут мы можем рассматривать как традиционное для ИБ резервное копирование, которое нужно проверить на корректность восстановления, так и целостность оборудования (физическая сохранность, отсутствие повреждений, работоспособность) ЦОД, которая должна обеспечиваться различными способами.

A – Availability. Доступность, или готовность. ГОСТ 27.102–2021 «Готовность (объекта): способность объекта выполнять требуемые функции в заданных условиях, в заданный момент или период времени при условии, что все необходимые внешние ресурсы обеспечены».

Для ЦОД это ключевое понятие, и именно оно позволяет утверждать, что этот стандарт имеет отношение к эксплуатации ЦОД, – вся его суть направлена на обеспечение максимальной доступности.

Помимо разделов, перечисленных в ISO 9001 и общих для всех стандартов по управлению осведомленностью, коммуникациями, документацией, анализом менеджмента и непрерывному улучшению, в ISO 27001 можно выделить следующие разделы:

• оценку рисков информационной безопасности. Для нас особо важны аспекты I и А;

• управление активами. Наличие и актуализация как складов, так и установленного оборудования имеет важное значение для ЦОД;

• оборудование. Размещение и защита оборудования, обслуживание оборудования, его утилизация. Один из подпунктов, «Служба обеспечения», гласит, что «оборудование должно быть защищено от перебоев в электроснабжении». Как мы видим, это уже напрямую описывает работу таких объектов, как ЦОД;

• отношения с поставщиками. Для ЦОД особенно важны безопасные отношения с поставщиками услуг, электроэнергии, топлива, подрядчиками по выполнению ТО. Безопасность тут может быть различная, от заключаемых SLA до наличия складов ЗИП на объектах;

• непрерывность информационной безопасности. Здесь мы опять вспоминаем про ключевой для ЦОД параметр Availability и всю деятельность службы эксплуатации, направленную на непрерывность работы ЦОД. В рамках этого стандарта традиционно подразумевается DRP (Disaster Recovery Plan^[13]), но, если идти дальше, это будут также и тренировки, и документы по устранению аварийных ситуаций, и различные схемы резервирования оборудования.

ГОСТ Р ИСО 22301–2014 / ISO 22301:2019 Business Continuity

«Управление непрерывностью бизнеса» – по названию наиболее подходящий под деятельность ЦОД стандарт ISO. После выполнения требований предыдущих двух стандартов имеет совсем немного добавлений, тем не менее важных для обеспечения непрерывности работы ЦОД.

Что добавилось сейчас, помимо вышеперечисленных общих частей?

• В Политике непрерывности бизнеса задекларировано, почему и каким образом мы будем защищаться от перерывов в работе (с точки зрения ЦОД основные риски – энергетика, охлаждение и т. д.).

• Оценка рисков организации уже требовалась для ISO 27001; здесь к ней добавляется Business Impact Analysis^[14]. Что это дает с точки зрения эксплуатации? Например, у нас заканчивается мощность ДГУ, но они дорогие и нарастить их число в короткий срок невозможно. Вы вынуждены использовать резервный ДГУ в качестве основного. К чему может привести потеря резерва? Во время прерывания подачи электроэнергии на объекте и выхода из строя одного из ДГУ не будет достаточной мощности, чтобы поддержать ЦОД. Тут можно сопоставить стоимость дополнительной ДГУ и ту сумму штрафов, что мы заплатим за нарушение SLA, и понять, что приведет к большим затратам. Далее мы принимаем соответствующее решение: возможно, экономически целесообразнее будет иногда падать, то есть допускать отключение нагрузки.

• Также в стандарте описано, как реализовывать стратегию непрерывности работы. Все это будет являться составными элементами в ходе технического обслуживания, аварийных тренировок и деятельности по эксплуатации ЦОД в целом. Стандарт оперирует понятиями Business Continuity Plans^[15], но это могут быть как DRP, так и противоаварийные мероприятия, сценарии и тренировки по пожаротушению, альтернативные контракты с поставщиками критических ресурсов и т. д.

• Добавлен раздел «Восстановление», касающийся действий после наступления каких-либо критических ситуаций.

• Раздел учений и тренировок. Ранее он не был выделен, но в этом стандарте он играет немаловажную роль. Значимость тренировок подчеркивается везде, особенно в TS: OS от Uptime Institute.

В целом, если вы планируете сертифицироваться по всем процессам в соответствии со стандартами ISO, мы бы предлагали делать это именно в приведенной последовательности, так как с каждым разом объем наработок, накопленных с прошлыми стандартами, будет все больше.

Правила технической эксплуатации электроустановок потребителей (ПТЭЭП)

Важный нормативный документ, содержащий множество ранее перечисленных аспектов организации эксплуатации оборудования, аналогичных по своим требованиям международным стандартам.