Холодоснабжение, кондиционирование воздуха
Coolling and air conditioning
  Энергосберегающее климатическое оборудование для объектов связи
Telecom free cooling air conditioning
 
Статьи

ЦОД: Организация резервирования систем охлаждения.

Опубликовано в журнале ИКС № 7-8, 2010 г.


П. Л. Ронжин
Директор ООО «ВЕНТСПЕЦСТРОЙ»

Ни для кого не секрет, что при строительстве центра обработки данных (ЦОД) потребуются системы охлаждения, оснащенные резервными кондиционерами и чиллерами. Достаточно ли просто предусмотреть увеличение количества охлаждающего оборудования или потребуется что-то еще? И если потребуется, то что? Каким критериям это что-то должно отвечать?
К сожалению, обращение к российским стандартам не дает ответов на поставленные вопросы. Впрочем, и самих российских стандартов, посвященных этой теме, нет. Есть безнадежно устаревшая, не соответствующая реалиям современности, но, тем не менее, используемая от безысходности Инструкция по проектированию зданий и помещений для электронно-вычислительных машин СН 512. Применительно к теме, указанной в заголовке статьи, в инструкции нашлось всего несколько строчек: «Для повышения надежности систем кондиционирования воздуха необходимо предусматривать блокировку кондиционеров попарно по приточным и рециркуляционным воздуховодам, дублирование наиболее важных элементов системы (вентиляционные агрегаты, компрессоры, насосы) или целиком кондиционеров. Указанные требования должны быть предусмотрены технологическим заданием.» Также инструкция содержит еще одно «полезное» требование о том, что электродвигатели системы кондиционирования воздуха - холодильных машин, насосов, вентиляторов должны быть обеспечены по 2 категории надежности электроснабжения, а ЭВМ вычислительных центров – по 1 категории. И это все.
Те, кто занимался ЦОДами или крупными серверными помещениями понимают, что этой информации будет совершенно недостаточно для проектирования и строительства дата-центра, который мог бы соответствовать сертификационным требованиям в соответствии с западными стандартами. Здесь мы в первую очередь имеем ввиду такие ставшие уже широко известными у нас документы как ANSI/TIA-942-2005 Telecommunication Infrastructure Standard for Data Center и стандарт, разработанный Uptime Institute, Data Center Infrastructure Tier Standard: Topology.
Принятая в этих стандартах классификация дата-центров по рядам (уровням), была создана как описание уровня площадочных инженерных инфраструктур, требуемых для обеспечения работы дата-центра. В классификации не даются характеристики индивидуальных систем или подсистем, зато даются принципы их проектирования и строительства, а также взаимосвязь между различными инженерными системами.
Итак, рассмотрим классификационные уровневые требования по инфраструктуре ЦОДов применительно к системам охлаждения.

Дата-центр уровня Tier I.
Все инженерные компоненты такого ЦОДа могут использоваться без резервирования. Для систем охлаждения это означает, что мы можем использовать кондиционеры любого типа при условии, что их количество будет достаточно для снятия тепловой нагрузки. При выходе из строя какого-либо кондиционера или при проведении технического обслуживания на кондиционерном оборудовании или его системах электропитания придется частично или полностью остановить оборудование дата-центра.
Единственное серьезное требование - в случае наличия питание серверного и компьютерного оборудования от аварийных генераторов, все кондиционерные системы должны быть также подключены к ним в режиме ожидания.

Дата-центр уровня Tier II.
Инженерная инфраструктура такого дата-центра должна строиться по принципу резервирования компонентов.
Охлаждающее оборудование резервируется по схеме N+1, где N – необходимое количество оборудования для 100% тепловой нагрузки. При этом для кондиционеров должен быть предусмотрен один резервный на каждые 3-4 работающих.
Трубопроводы контура холодоносителя не резервируются, но циркуляционные насосы и фильтры также должны быть в количестве N+1.
Кондиционерные системы должны быть подключены к генераторам в режиме ожидания. Электропитание систем кондиционирования должно быть распределено таким образом, чтобы свести к минимуму воздействие на климатические системы при выходе из строя одной из систем электропитания. Все системы температурного контроля должны быть запитаны через ИБП.
Такой дата-центр должен работать 7 дней/24 часа/365 дней, однако, обслуживание критически важных узлов системы охлаждения, например, полная замена холодоносителя в трубопроводах, потребует остановки всей системы охлаждения и, соответственно, всего ЦОДа.

Дата-центр уровня Tier III.
При проектировании инженерных систем такого ЦОД, в том числе, систем охлаждения, используется принцип обеспечения одновременного (параллельного с работой дата-центра) обслуживания систем.
Это достигается использованием нескольких распределительных силовых цепей и охлаждающих контуров, позволяющих отключать часть трубопроводов холодоносителя для проведения плановых работ и ремонта без воздействия на работу дата-центра.
При использовании водоохлаждающего оборудования каждая система охлаждения должна быть разделена на независимые друг от друга подконтуры (подсистемы). Резервирование чиллеров, кондиционеров, насосов, фильтров и т. д. на каждой подсистеме производится аналогично резервированию этих компонентов для систем охлаждения дата-центров уровня Tier II.
Запланированное воздействие на системы охлаждения, такое как, обслуживание, ремонт, замена компонентов, добавление или удаление кондиционеров, чиллеров, насосов, испытания компонентов и систем не приводят к нарушениям в работе компьютерного оборудования дата-центра. 
Так как питание компьютерного и телекоммуникационного оборудования должно осуществляться от нескольких вводов для обеспечения функционирования при пропадании питания требуется одновременно активные распределительные линии, обычно в конфигурации Система + Система. Электрически, это два раздельных ИБП, в которых каждая система имеет резервирование N+1. Работающее серверное оборудование неизбежно выделяет тепло, поэтому системы охлаждения должны иметь резервирование по питанию с теми же требованиями, что и для питания компьютерного оборудования.
Ярким примером взаимосвязи отказоустойчивости инженерных систем является факт, что ИБП и аккумуляторные помещения должны охлаждаться прецизионными кондиционерами, которые, в свою очередь, должны быть обеспечены бесперебойным питанием.
Непланируемые активности, такие как, ошибки управления или спонтанные сбои инфраструктурных компонентов могут привести к нарушению работы дата-центра.
 
Дата-центр уровня Tier IV.
Уровень технических решений по инженерной инфраструктуре такого дата-центра должен предусматривать устойчивость к отказам, в том числе, и к незапланированным действиям. Применительно к системе охлаждения это означает использование тех же принципов, что и для систем охлаждения дата-центров уровня Tier III с применением резервных систем управления (контроллеров) и использованием конфигурации Система + Система. Для систем охлаждения, базирующихся на фреоновых кондиционерах с  непосредственным расширением должны предусматриваться альтернативные ресурсы холода на базе водяных аккумуляторов.

Я специально очень подробно остановился на описании уровневых требований к системам охлаждения. Пока еще в нашей российской практике такой подход является непривычным, и поэтому, не всеми принимается. Гораздо чаще в Технических заданиях с большей или меньшей степенью детализации описывается оборудование, его технические характеристики и расплывчатые требования к работоспособности системы. И в этом случае уровень доступности ЦОДа зависит от того, насколько компетентными оказались те люди, которые готовили ТЗ и которые по нему делали проект. Применение в России уже отработанных западных стандартов позволит значительно улучшить качество проектов и гарантировать заявленный уровень отказоустойчивости ЦОДов.