Холодоснабжение, кондиционирование воздуха
Coolling and air conditioning
  Энергосберегающее климатическое оборудование для объектов связи
Telecom free cooling air conditioning
 
Статьи

ОТВОД ТЕПЛА В ЦОДе: ПРОЕКТЫ

Основное внимание в статье «Отвод тепла в ЦОДе: плотность или площадь?» (см.: Сети и системы связи. 2008. № 8. С. 26) мы уделили выявлению оптимального максимума энергопотребления одной стойки, выше которого затраты на системы охлаждения будут пре-. ; • цить выгоды от повышения плотности размещения оборудования. Привлеченные нами эксперты высказали разные суждения на этот счет. Сегодня посмотрим, как свои советы и рекомендации они готовы реализовать на практике.

Прежде чем перейти к описанию предложенных решений, кратко напомним поставленную задачу. Итак, некая (вымышленная нами) компания планирует организовать центр обработки обработки даных (ЦОД), разместив в нем 60 монтажных шкафов / стоек с оборудованием (12 рядов по 5 стоек), которое на первом этапе будет выделять по 5 кВт тепла (на стойку). В планах компании — через 3-5 лет заменить основное оборудование (серверы), и тогда, на втором этапе, уровень тепловыделения может возрасти до 30 кВт на стойку.
Нашей компании важно было знать, какой предел мощности (на стойку) будет экономически оптимальным? В соответствии с выбранным максимальным уровнем мощности (кто-то определил его в 30 кВт, кто-то — меньше) участники нашего обзора и предложили свои технические решения. Заказчик особо просил их показать пути перехода от первого этапа ко второму — в частности, указать, возможна ли поддержка максимальной мощности путем масштабирования решения, предложенного для первого этапа, или же потребуется совсем новый подход. Итак, приступаем к анализу предложенных проектов.

ПРОЕКТЫ
КОМПАНИЙ-ПРОИЗВОДИТЕЛЕЙ

АРС

Специалисты АРС сразу отметили, что в условиях высокой плотности мощности нагрузки с большими перепадами уровня потребления энергии единственным приемлемым вариантом становятся чиллерные системы, т. е. системы с наличием промежуточного теплоносителя между устройствами производства холода (чиллерами) и внутренними блоками, непосредственно охлаждающими нагрузку, и выделили следующие их достоинства:
• Отличные показатели (примерно на 50% лучше, чем у других решений) по плотности отводимой тепловой мощности (компактный дизайн).
• Сохранение работоспособности при сильных изменениях мощности нагрузки (от 10 до 200% от номинала) и минимальная инерционность, что обеспечивает нечувствительность системы к пространственной и временной неравномерности распределения нагрузки.
• Возможность использовать для охлаждения наружный воздух (режим естественного охлаждения, или фрикулинг), что в характерных для большинства регионов нашей страны климатических условиях, обеспечивает окупаемость системы за несколько лет эксплуатации.
• Простота и гибкость проектирования, а также реализации расширяемых и отказоустойчивых систем (для продолжения охлаждения оборудования при пропадании электропитания достаточно всего лишь иметь бак объемом несколько кубометров, вместо того чтобы использовать мощный ИБП с большим батарейным массивом).
• Относительно мягкие требования к монтажу (сравните работы по проведению водопровода с установкой вакуумной техники).

Безотказная работа ответственного оборудования зависит от надежности электропитания. Думая о жизни и здоровье людей, крупнейшие больницы и производители медицинского оборудования России и мира доверяют защиту медицинской техники ИБП Powerware.


Компания предложила систему с внутрирядным размещением внутренних блоков кондиционеров (рис. 1): они устанавливаются в рядах стоек и подают холодный воздух вперед, забирая сзади горячий. Подача и забор воздуха осуществляются по всей высоте стоек, что обеспечивает гарантированную равномерность охлаждения и минимальный расход электроэнергии на работу вентиляторов. В своем решении АРС реализовала уровень резервирования системы N + 1, а также рекомендовала заполнить незадействованные позиции в стойках панелями-заглушками. В проекте предполагается наличие чиллерной системы, обеспечивающей расчетное количество холодной воды с температурой 7 °С (возможно применение раствора гликоля любой концентрации).
Дополнительно проектом предусматривается герметизация горячих коридоров с помощью комплекта панелей и двери. Это изолирует опасный для оборудования горячий воздух, повышает эффективность и предсказуемость работы кондиционеров. Конструкция системы, запатентованной компанией АРС, позволяет отводить до 30 кВт тепла со стойки. Различие решений, предложенных для первого (5 кВт на стойку) и второго (30 кВт на стойку) этапов, заключается лишь в числе блоков кондиционеров (в первом случае — 2 блока InRow RC на ряд из 5 стоек, во-втором — 9) и блоков централизованного распределения охлаждения (для первого этапа их предусмотрено всего 3, для второго — 12).
Учитывая необходимость последующего расширения, нужно выбрать систему распределения воды с использованием гибких металлопластиковых труб и стандартных устройств распределения. Поэтому изначально трубопроводы для второго этапа необходимо будет проложить лишь до границы зала. Сами же устройства распределения можно установить на втором этапе.

По мнению АРС, решение полностью масштабируемо, при этом труб осуществляется опрес-совкой по месту, а монтаж устройств распределения производится на фланцы, что тоже не требует сварочных либо паяльных работ. Монтаж металлопластиковых труб осуществляется опрес-совкой по месту, а монтаж устройств распределения производится на фланцы, что тоже не требует сварочных либо паяльных работ.

В качестве основного оборудования для помещения серверной на первом этапе компания Emerson предложила использовать шкафные кондиционеры НРМ L83 UA (четыре рабочих, один резервный), которые, будучи установлены напротив горячих коридоров, обеспечат подачу охлажденного воздуха под фальшпол, а также контроль и поддержание определенного уровня влажности в помещении. Общая суммарная явная холодопроизводительность рабочих шкафов составляет 310 кВт, в резерве находится один кондиционер с явной холодопроизводитель-ностью 77,4 кВт.
На втором этапе предусматривается модернизация системы кондиционирования с целью увеличения отвода тепла от одной стойки до 30 кВт. Установленные на первом этапе шкафные кондиционеры используются в качестве основного оборудования, контролирующего влажность в помещении. В качестве дополнительного оборудования, позволяющего отводить до 30 кВт тепла от одной стойки, предлагается задействовать систему холодильных машин и кондиционеров-доводчиков Liebert XD. Используя указанные технические решения, можно отдельными модулями (по 140 кВт каждый) увеличить мощность системы кондиционирования до 1800 кВт суммарной хо-лодопроизводительности. При этом второй этап может быть растянут по времени в зависимости от темпов наращивания мощности оборудования. Заказчик волен использовать различные варианты исполнения кондиционеров-доводчиков, исходя из особенностей тепловыделения конкретной стойки.
В качестве локальных кондиционеров-доводчиков предлагается использовать монтируемые к потолку в зоне холодного коридора блоки XDO, устанавливаемые на стойку блоки XDV или располагаемые в рядах между стойками блоки XDH. Данный принцип расстановки оборудования позволяет избежать образования зон перегрева в местах нахождения стоек с высоким тепловыделением. В качестве холодильных машин предлагается использовать 3 чиллера SBS 090 (два рабочих, один резервный) и 12 гидравлических модулей XDP (рис. 2), обеспечивающих циркуляцию хладоноси-теля для кондиционеров-доводчиков XDO, XDV, XDH. Возможно применение чиллеров меньшей мощности, а также поэтапная установка гидромодулей XDP. Гидравлические модули XDP, «развязывающие» чиллерную воду и фреон, можно установить в смежном помещении, чтобы исключить ввод воды в помещение ЦОДа, и не прокладывать водяные трубопроводы на первом этапе. В случае если модули XDP будут устанавливаться в помещении ЦОДа, необходимо на первом этапе по одной из стен проложить два трубопровода с запорными и балансировочными клапанами.

Хладоносителем в системе Liebert XD является фреон 134, что исключает ввод воды в помещение ЦОДа. Данная схема предполагает возможность наращивания мощности системы и поэтапного ввода оборудования в эксплуатацию. На первом этапе устанавливаются шкафные кондиционеры, на втором — модули XDP и необходимое число доводчиков, а также прокладываются все трубопроводы и монтируется минимум два чиллера (рабочий/резервный). В дальнейшем, по мере увеличения мощности, возможна установка дополнительных чиллеров и доводчиков. Доводчики подсоединяются к существующей системе трубопроводов с помощью гибких подводок через быстроразъемные соединения, при этом системы кондиционирования можно не включать.
I
В основе работы описываемой системы лежит свойство жидкости поглощать тепло при испарении. Жидкий хладоноситель, нагнетаемый насосом, испаряется в теплообменниках блоков охлаждения XDO, а затем поступает в гидромодуль XDP, где вновь конденсируется в жидкость. Таким образом, компрессионный цикл, требующийся в традиционных системах, исключается. Кроме того, если даже случится утечка жидкости, экологически безвредный хладоноситель просто испарится, не причинив никакого вреда оборудованию.

Knuerr

Для решения нашей задачи специалисты компании Knuerr выбрали монтажные корпуса серии Miracel и теплообменники для установки сбоку серверного шкафа CoolLoop. Преимуществом шкафа Miracel является то, что поставляется он в плоской упаковке и может быть легко доставлен непосредственно в комнату «постоянной дислокации», собирается же конструкция за считаные минуты. Система CoolLoop хорошо подходит для охлаждения нескольких корпусов и может поставляться в комплекте с одним блоком на 10 кВт; впоследствии достаточно будет заказывать лишь дополнительные блоки, увеличив полезную мощность охлаждения до 40 или до 30 кВт (при резервировании N + 1) на стойку.
На первом этапе предлагается установить в ряд из пяти стоек четыре блока CoolLoop (рис. 3). Два крайних блока будут с двумя теплообменниками, а центральные — с одним. Дело в том, что каждый теплообменник имеет шторки, которые можно повернуть в разные стороны; соответственно крайний левый блок CoolLoop станет охлаждать первый и второй шкафы, при этом каждый теплообменник будет работать на 50% своей мощности. Центральные блоки оснащаются только одним теплообменником каждый. При такой конфигурации размещения теплообменников обеспечивается резервирование системы и при выходе из строя любого из них функциональность системы не нарушается.
Чтобы увеличить отвод тепла до 30 кВт с каждой стойки, достаточно дополнительно поставить один блок сбоку каждого ряда и доукомплектовать каждый существующий блок CoolLoop теплообменниками до полной мощности. Итак, на втором этапе проекта мы получаем пять блоков CoolLoop в полной комплектации, каждый состоит из четырех теплообменников охлаждающей мощностью 10 кВт. Соответственно с каждого шкафа можно снять до 30 кВт тепла, сохраняя резервирование N + 1.

ПРОЕКТЫ ИНТЕГРАТОРОВ

«АМТ Груп»

Из компании «АМТ Груп» мы получили, пожалуй, самый короткий ответ без «лишних» подробностей. Ее специалисты предложили на первом этапе использовать прецизионные кондиционеры необходимой мощности (300 кВт) с резервированием не ниже уровня N+ 1, а на втором порекомендовали установить на шкафы двери с теплообменниками — например, производства Knuerr. Вот, собственно, и все. За подробностями нашему заказчику, надо полагать, следует обращаться дополнительно.

«Би-Эй-Си» (ВАС)

Эксперты компании считают, что на первом этапе наиболее экономичный вариант — традиционное воздушное охлаждение. Они выражают сомнение в том, что через 3-5 лет заказчик резко перейдет от 5-кВт стоек к 30-кВт. Скорее всего, неизбежны промежуточные варианты, при этом можно будет использовать доводчики типа тех, какие предлагает компания Emerson, или модульные системы жидкостного охлаждения — например, компании Rittal.
К сожалению, отмечает Алексей Карпинский, директор департамента инженерных систем компании «Би-Эй-Си», на данный момент нет опробирован-ных технологий для отвода указанной в задаче (для второго этапа) мощности с такого количества стоек. Решения, безусловно, существуют, но все это новые технологии, число инсталляций которых мало или равно нулю. «К сожалению, вынужден констатировать, что зачастую маркетинговые заявления производителей сильно отличаются от истинного положения дел. И чтобы заказчику не остаться один на один с новой технологией, которая просто не работает, ему нужен компетентный партнер, который выберет наиболее оптимальное решение и при необходимости займется его доработкой», — говорит он.

«ВентСпецСтрой»

Охлаждение стоечного оборудования на первом этапе эксплуатации ЦОДа, по мнению специалистов компании «ВентСпецСтрой», не представляет никаких трудностей. Наиболее экономичным и в то же время весьма эффективным они считают применение чиллеров с функцией естественного охлаждения, а также прецизионных кондиционеров, работающих на охлажденной воде и подающих охлажденный воздух под фальшпол и далее (через его перфорированные плиты), в холодные коридоры и к стойкам с оборудованием. Задача холодоснабжения в этом случае легко решается с помощью чилле-ров с функцией естественного охлаждения серии MAXIMO итальянской компании RC Group. Резервирование холодильных машин должно осуществляться по схеме N + 1,что на практике может воплотиться в использование двух чиллеров холодопроиз-водительностью 300 кВт каждый или трех — по 150 кВт. Установить две машины или три при этом зависит в большой степени от размеров площадки и архитектурных особенностей здания ЦОДа. С учетом выбранной схемы резервирования (N + 1) компания предлагает заказчику использовать четыре (холодопроизводительность одного — 100 кВт) или шесть (холодопроизводительность — 60 кВт) прецизионных кондиционеров серии Next производства той же самой фирмы RC Group.
Рассматривая воздушную систему как единое целое, компания «ВентСпецСтрой» рекомендует оборудовать в помещении ЦОДа фальшпол высотой от 50 до 80 см с шириной холодных коридоров 120 см (две перфорированные плиты пола фирмы Lindner, перфорация — 38%) и с такой же шириной горячих коридоров. Недорогой мерой, повышающей эффективность охлаждения и снижающей энергозатраты на производство холода, является полное разделение зон холодного и горячего воздуха, например, с помощью перекрытия сверху и закрытия с торцов холодных коридоров, что исключит возможное смешивание охлажденного и нагретого воздуха.
Целесообразно прецизионные кондиционеры монтировать снаружи вдоль длинных стен зала ЦОДа в специальных проходах. Такое расположение указанного оборудования позволит обслуживающему персоналу осуществлять работы по его техническому обслуживанию, не входя в серверную зону. Отдельное помещение размером приблизительно 6x6м потребуется для установки насосной группы. Чиллеры в зависимости от их количества будут занимать площадь от 80 до 100 кв. м. При достаточно высокой несущей способности перекрытий и конструкций здания ЦОДа или отсутствии прилегающих к зданию площадей вполне приемлемым вариантом следует считать расположение холодильных машин на крыше здания. Кроме того, не следует забывать, что в зависимости от технического задания заказчика надо будет рассчитать, изготовить и смонтировать бак-аккумулятор для хладоносителя, необходимого для охлаждения оборудования на время запуска ДГУ в случае пропадания основного питания. Объем такого бака может достигать нескольких кубических метров, а вес в рабочем заполненном состоянии — нескольких тонн.
Прежде чем выбирать решения для второго этапа, эксперты компании «ВентСпецСтрой» рекомендуют заказчику ответить для себя на следующие вопросы: все ли стойки (или только отдельные) будут нагружены до уровня 30 кВт? как будет происходить загрузка стоек — одновременно или поэтапно? нужно ли останавливать работу ЦОДа на время его переоснащения в соответствии с требованиями второго этапа?

Предположим, заказчик определился с тем, что все стойки будут одновременно заменены стойками с нагрузкой 30 кВт. Компания «ВентСпецСтрой» может предложить технические решения, позволяющие посредством воздуха и практически традиционной схемы отводить такие тепловые нагрузки. Однако для их реализации потребовалось бы строить ЦОД существенно больших размеров, что привело бы к значительному увеличению капиталовложений, которое негативно сказалось бы на сроке окупаемости объекта.
Поэтому на втором этапе развития ЦОДа компания решила предложить заказчику ориентироваться на оборудование высокой плотности со встроенными жидкостными системами охлаждения на уровне платы. Тогда на первом этапе в помещении серверной следует проложить трубопроводы с необходимой запорно-регулирующей арматурой, к которой на втором этапе будут подсоединяться системы охлаждения стоек. Несмотря на то что площадь непосредственно серверного помещения при этом не увеличивается, с самого начала необходимо будет предусмотреть места размещения дополнительных чиллеров, насосных групп и баков-аккумуляторов. Для размещения чиллеров по схеме N+ 1 (четыре аппарата по 600 кВт или три по 900 кВт) потребуется дополнительная площадка площадью от 280 до 300 кв. м. А размеры помещения насосной должны быть не менее 6 х 18 м. И конечно, нельзя забывать, что для такой системы понадобится бак-аккумулятор емкостью в десятки кубических метров. Такой подход к решению данной технической задачи позволит наименее болезненно перейти ко второму этапу строительства ЦОДа. К проложенным на первом этапе трубопроводам необходимо подсоединить чиллеры, насосы, стойки — и система холодоснаб-жения будет готова снимать возросшие в шесть раз тепловые нагрузки.
«Датадом»

Для начала специалисты компании «Датадом» посоветовали заказчику изменить конфигурацию расстановки стоек (если позволяет геометрия по-меще-ния) — 12x5 плохо, лучше 10x6 или даже 15 х 4, так как в этом случае удобнее соблюдать правило холодных и горячих коридоров. По их мнению, 30 кВт тепла с одной стойки можно снимать лишь с использованием специализированных водоохлаждаемых стоек — например, компании Knuerr, Rittal или HR Но при этом нужно помнить, что каждая такая стойка занимает около 4,5 кв. м гермозоны ЦОДа в отличие от стандартных 5-кВт стоек, занимающих 2,5 кв. м. Вследствие такого увеличения площади число стоек уменьшается почти в два раза, для сохранения же их числа необходимо заранее предусмотреть вдвое большую площадь.
Если не рассматривать возможность увеличения помещений ЦОДа, то его энерговооруженность на втором этапе составит 1080 кВт (36 х 30), т. е. в три раза больше, чем на первом. При этом необходимо будет заменить все стоечное оборудование и переместить перфорированные плиты в область, где установлены ИБП. Тепловыделение последних составит порядка 100 кВт, и его можно снять, используя ранее установленные прецизионные шкафные кондиционеры. Таким образом, при строительстве ЦОДа необходимо сразу заложить трубопровод и электрические компоненты, рассчитанные на полную мощность в 1100 кВт. На первом этапе в ЦОДе будет 60 стоек по 5 кВт, 2 ИБП с резервом (мощностью 500 кВА),4 гликолевых кондиционера по 100 кВт (3 + 1), 2 чиллера холодопроизводительностью по 400 кВт и 1 ДГУ на 1000 кВА. Модернизация потребует убрать 2 кондиционера по 100 кВт, добавить еще 2 аналогичных чиллера, 2 ИБП и 2 ДГУ (рис. 4). Таким образом, энерговооруженность ЦОДа увеличится в три раза, но при этом число стоек сократится на 40%. Если же надо все-таки установить 60 стоек по 30 кВт — для этого потребуется построить еще один ЦОД на 24 стойки с водяным охлаждением.
Специалисты компании «Датадом» просчитали для заказчика еще один вариант, требующий меньшего вмешательства в гермозону ЦОДа, но не так сильно увеличивающий его общую мощность. Это дооснащение имеющихся стоек охлаждающими дверями CoolAdd производства Knuerr. Дверь устанавливается вместо задней (стандартной) двери телекоммуникационной стойки и позволяет снимать еще дополнительно до 8 кВт тепла на стойку. Хладоносителем является гликоль, подводимый от системы чиллеров. Общий теплосъем со стойки в такой схеме может достигать 13 кВт. Поскольку дверь CoolAdd имеет глубину 160 мм, то для четырех рядов увеличение составит порядка 60 см, что вполне допустимо и не потребует перестановки оборудования.
В данном случае при масштабировании необходимо будет только навесить на стойки новые задние двери и подключить их к трубопроводу. Соответственно трубопроводы и энергетика ЦОДа изначально должны быть рассчитаны на 780 кВт (60 х 13) мощности, и во время модернизации также необходимо будет добавить один чиллер, один ИБП и одну ДГУ. Суммарная мощность оборудования в такой серверной возрастет в 2,6 раза при одном и том же числе стоек и неизменной площади гермо-зоны.

«Ди Си квадрат»

Эксперты компании «Ди Си квадрат» готовы рекомендовать конкретное решение только после того, как им будет предоставлена более полная информация о конкретной организации (пусть даже вымышленной). Генеральный директор компании Александр Мартынюк призывает заказчика заранее тщательно продумать процесс перехода от первого этапа ко второму: «Если заказчик принял решение об использовании одного помещения, то как именно будет осуществляться "миграция" оборудования в стойках? Будет ли на время вынужденных "грязных" доработок физически разделено помещение, или для размещения оборудования предполагается задействовать ресурсы коммерческого ЦОДа? А может быть, заказчик намерен использовать один из передвижных центров? Тогда он должен своевременно позаботиться о наличии выровненной платформы, энергоресурсов, склада запчастей, а также решить вопросы обеспечения отказоустойчивости и резервирования...»

По мнению г-на Мартынюка, не стоит тешить себя иллюзиями, что решение, поддерживавшее комфортный режим работы 5-кВт стоек, можно нарастить для стоек с энергонагруженностью в 5-10 раз выше. Решения, которые могут использоваться для каждой из этих ситуаций, принципиально различаются как по уровню сложности, так и по эксплуатационным характеристикам, не говоря уже о стоимости и масштабе сопроводительных работ.

IBS

Специалисты IBS предложили следующий расчет: при мощности тепловыделения серверного оборудования на первом этапе в 300 кВт необходимо учитывать тепловыделение ИБП (порядка 8% от мощности основного оборудования), запас по мощности (около 25%), а также менее значимые источники тепловыделения (освещение, внешние теплоприто-ки и т. п.). Таким образом, суммарная мощность тепловыделения составит порядка 400 кВт. Соответственно для первого этапа они предложили:

• установить на улице два моноблочных чиллера мощностью 400 кВт, а также накопительные баки с холодной водой;

• в отдельном помещении расположить теплообменники (этиленгликоль-вода);
• установить в серверной комнате шесть кондиционеров мощностью по 80 кВт;
• установить в помещении ИБП два кондиционера по 30 кВт (возможна замена на более дешевые фанкойлы);
• выполнить трубную разводку с учетом дальнейшего расширения.
На втором этапе суммарная мощность тепловыделения серверного оборудования вырастет до 1800 кВт. С учетом тепловыделения ИБП, запаса по мощности и т. п. суммарная мощность тепловыделения составит 2400 кВт. Для ее снятия специалисты IBS рекомендовали дополнить существующие чил-леры еще пятью агрегатами такой же мощности. Необходимо также добавить накопительные баки с холодной водой, теплообменники, кондиционеры в серверной и в помещении с ИБП. И на первом и на втором этапе все компоненты системы резервируются по схеме N + 1.

«Комплит»

Компания «Комплит» предложила нашему заказчику на первом этапе использовать систему АРС InRow SC. При этом на базе инженерной инфраструктуры, заложенной с самого начала проекта, на втором его этапе предполагается развернуть более мощную систему. Подготовка инженерной инфраструктуры на первом этапе займет примерно 1 мес, а пусконаладочные работы — 1 нед.
Специалисты «Комплита» особо отмечают возможность управления системами АРС по протоколу http через любой браузер. Это обеспечивает простоту доступа к интерфейсу управления, с помощью которого осуществляется мониторинг состояния системы кондиционирования, анализируются возможные сбои. Система управления позволяет менять режимы работ, отображает все показатели (скорость вращения вентиляторов, параметры воздушных потоков, давление воды в системе и пр.), в том числе расход воды, в результате можно контролировать и в конечном счете оптимизировать эксплуатационные расходы.
Для увеличения мощности до 30 кВт на стойку компания «Комплит» предлагает заменить системы InRow SC системами InRow RP. Также на втором этапе необходимо построить систему герметизации горячих коридоров на базе решения АРС Hot Aisle Containment. Она будет препятствовать смешению воздушных масс внутри помещения самого ЦОДа, тем самым увеличивая общий КПД системы кондиционирования. Дополнительные масштабные работы по построению инженерной инфраструктуры не требуются. На развертывание системы понадобится не больше двух рабочих дней.
Интересно отметить, что, хотя специалисты компании «Комплит» предложили 30-кВт решение, в качестве оптимального предела мощности они указали значения, равные 5-8 кВт.

«Крок»

К сожалению, один из крупнейших российских интеграторов не прислал детального технического решения поставленной нами задачи, что, возможно, связано с отсутствием полноты исходных данных. В ответе специалистов компании говорится, что на выбор решения влияет множество факторов, среди которых они назвали тепловую мощность оборудования, требования к эксплуатации активного сетевого и серверного оборудования, климатические параметры региона расположения объекта, характеристики помещения и пр. Полный перечень исходных данных может занимать десятки позиций. Главное при разработке — соблюдать требования российских и международных нормативных документов, использовать надежное и энергоэффективное оборудование, учитывать особенности проектируемого объекта, перспективы его роста, индивидуальные особенности эксплуатации оборудования и др.
Наиболее приемлемым решением для второго этапа, считают эксперты «Крока», является установка заранее (при проектировании) запланированных дополнительных кондиционеров, и, как следствие, увеличение холодильной мощности ЦОДа. Для этого необходимо на этапе строительства заложить соответствующие технические решения. Если это невозможно, следует рассмотреть вариант с индивидуальным охлаждением стоек с помощью устанавливаемых в ряды стоечных кондиционеров, например компании АРС или Rittal, либо системы Liebert XD.
Специалисты «Крока» отмечают, что более дешевым и надежным решением будет рассредоточение активного оборудования и снижение тепловой мощности на один шкаф. Следует различать увеличение мощности ЦОДа в целом (плановое масштабирование) и увеличение тепловой мощности стойки. Изменение тепловой нагрузки стойки, скажем с 5 до 25 кВт, может потребовать как просто увеличения мощности системы кондиционирования, так и перепланировки и перестраивания ЦОДа целиком.

«Открытые Технологии»

На первом этапе компания «Открытые Технологии» предполагает установить в каждый ряд из пяти стоек два внутрирядных кондиционера холодо-производительностью 29 кВт. С учетом того, что по условию задачи тепловыделение ряда составит 25 кВт, этого вполне хватит для нормальной работы системы и обеспечения резервирования JV+ 1 (в нашем случае 2N, так как N = 1). С прицелом на дальнейшее развитие будет правильным оставить свободное пространство между стойками для установки еще двух подобных кондиционеров, закрыв его перегородками из легких материалов с целью предотвращения перетекания горячего воздуха в холодные коридоры. Рекомендуется также установить две группы чиллеров с независимыми контурами, подключив каждый кондиционер в ряду к своему контуру.
На втором этапе предполагается довести тепловыделение ряда стоек до 150 кВт. Исходя из этого к двум уже имеющимся кондиционерам в запланированные заранее места вместо перегородок устанавливаются еще два кондиционера, еще два располагаются по краям ряда. Итого в ряду получается шесть кондиционеров по 29 кВт, что обеспечивает требуемую холодопроизводительность со степенью резервирования N+ 1. Желательно также сгруппировать ряды стоек по два, закрыв горячие коридоры дверями и крышей, что положительно скажется на росте производительности системы охлаждения.
Специалисты «Открытых Технологий» обращают внимание на то, что применение только внутри-рядных кондиционеров накладывает ограничения на используемые в ЦОДе серверы и системы хранения: все оборудование должно устанавливаться в стандартные 19-дюймовые стойки. В данном случае невозможна установка «больших», отдельно стоящих стоек серверов и дисковых массивов со своими системами охлаждения.
В проекте компании «Открытые Технологии» не указаны конкретные модели кондиционеров, однако, по-видимому, подразумевается использование продукции фирмы АРС. Да и само решение по своей «идеологии» схоже с решением, предложенным самим этим производителем и описанным выше.

«Трансфер Эквипмент Восток» (ТЭВ)

Специалисты компании ограничились общими рекомендациями нашему заказчику (без подробного технического проекта). Они заметили следующее: названный в условии поставленной задачи срок (3-5 лет) до реализации второго этапа позволяет предположить, что прогноз в 30 кВт на стойку к этому времени может просто потерять свою актуальность. В случае стремления формально действовать на основе полученного от заказчика задания единственное правильное решение, по их мнению, — это применение водяного охлаждения, т. е. установка шкафов со встроенными радиаторами или специализированных шкафов, подключаемых к чиллерам.

«Хоссер»

Предложенное компанией решение для снятия тепловой нагрузки со стоек с оборудованием похоже на решение Knuerr. На первом этапе предполагается оснастить каждую стойку одним охлаждающим модулем производительностью от 1 до 10 кВт, а на втором — тремя такими модулями производительностью 10 кВт. Это обеспечит внутри герметичной стойки поддержание требующейся для эксплуатации основного оборудования температуры.
Большое внимание в проекте компании «Хоссер» уделено вопросам снятия тепла, появление которого не связано с работой основного оборудования. Ведь, помимо него, в ЦОДе будут установлены ИБП (не более 8% от всей мощности) и, возможно, кроссовое оборудование с тепловыделением порядка 2 кВт на стойку. Кроме того, в помещение будут поступать тепловые потоки извне — через перегородки, наружные стены и т. п. Все вышеперечисленные составляющие теплопритоков на первом этапе, по расчетам специалистов компании «Хоссер», дадут дополнительно не более 40 кВт. Также необходимо учесть, что в зимнее время в помещение станет проникать с улицы сухой воздух, он непременно попадет и в стойки с оборудованием при их открывании в процессе эксплуатации. Поэтому зимой воздух в ЦОДе придется еще и увлажнять. Снятие тепла, поступающего от вторичных источников, и увлажнение воздуха, согласно предложенному проекту, можно реализовать с помощью компактного кондиционера ASD 66-CW компании Stulz, который будет забирать теплый воздух сверху и подавать холодный через фальшпол. На втором этапе, при возрастании тепловыделения от ИБП, потребуется установить еще один кондиционер — модель ASD 1500CW мощностью 107,2 кВт. Вместе оба они справятся со вторичными теплопритоками, мощность которых на втором этапе, по расчетам, составит порядка 144 кВт.
Для снабжения ЦОДа холодной водой в проекте компании «Хоссер» предполагается использовать два уличных чиллера Stulz CFO3702A мощностью 345 кВт. Это моноблочные системы с режимом естественного охлаждения. На втором этапе к уже построенному холодоцентру необходимо добавить еще два чиллера мощностью 1500 кВт. Потребуется также установить дополнительные насосы, однако основная система трубопроводов изначально должна быть построена с учетом повышения мощности на втором этапе. По заверениям специалистов «Хоссера», монтаж и ввод в эксплуатацию инженерных систем на втором этапе осуществимы без остановки системы холодоснаб-жения ЦОДа.

«Черус»

Из всех интеграторов компания «Черус» прислала нам наиболее обстоятельное и детально проработанное предложение. Помимо решения для основного зала ЦОДа (серверной), специалисты компании предложили нашему заказчику решения для таких критически важных помещений, как электрощитовая/помещение под ИБП и холодоцентр.
Эксперты компании посчитали скачок мощности с 5 до 30 кВт слишком большим, и поэтому выбрали вариант, который обеспечил бы масштабирование ЦОДа с 5 до 25 кВт на стойку. Установка систем и элементов, связанных со строительной частью (водоснабжение, конструктивные элементы, несущие перекрытия, проемы для проноса оборудования, грузоподъемные приспособления), требуют больших временных и финансовых затрат, поэтому их характеристики были сразу просчитаны в расчете на плановое расширение. Так, диаметр трубопровода системы холодоснабжения ЦОДа мощностью 1,8 МВт должен составлять не менее 400 мм (плюс толщина теплоизоляции), такой трубопровод и предлагается заложить с самого начала. В то же время холодоснабжающая техника будет устанавливаться по мере возникновения необходимости в ней, что позволит оптимизировать затраты.
Серверная (помещение под стойки с оборудованием) — площадь 300 кв. м (20 х 15). Компания «Черус» предложила изменить принцип расстановки оборудования на первом этапе: вместо 12 рядов по 5 стоек — либо 4 ряда по 15 стоек, либо 6 рядов по 10 стоек, поскольку с точки зрения эффективности охлаждения лучше подходят более длинные ряды стоек. Для охлаждения оборудования устанавливаются попарно 4 шкафа Liebert НРМ L14 UC вдоль противоположных стен. Явная холодопроизводительность такого кондиционера составляет чуть более 111 кВт. Таким образом, три основных кондиционера ассимилируют 300 кВт тепла и система зарезервирована по схеме N + 1.
По мере развития ЦОДа и соответственно возрастания мощности стандартные 19-дюймовые стойки постепенно заменяются шкафами Liebert XDFN с водяным охлаждением. Такой шкаф специально рассчитан на охлаждение серверов с максимальной мощностью 25,6 кВт и позволяет обеспечивать управление влажностью, резервирование элементов охлаждения по схеме N + 1 и резервную вентиляцию. Ширина каждого такого блока составляет 1,6 м. Таким образом, если расставить их в 6 рядов по 10 стоек, они поместятся в серверную комнату длиной 20 и шириной 15 м (кондиционеры Liebert НРМ L14 UC предварительно демонтируются). Освободившиеся кондиционеры постепенно переносятся в щитовую (площадь и проемы предусмотрены заранее!) — установленные там электрооборудование и ИБП на втором этапе тоже будут работать с большей мощностью.
Электрощитовая и помещение под ИБП (50 кв. м). Исходя из опыта проектирования, специалисты «Черуса» приняли, что находящееся в данном помещении оборудование выделяет около 10% тепла, генерируемого серверами. Таким образом, на первом этапе его тепловыделение составит 30 кВт. С учетом дальнейшего развития ЦОДа в указанном помещении должно уместиться дополнительное оборудование. Поэтому вдоль стен необходимо оставить место для трех прецизионных кондиционеров шкафного типа с водяным охлаждением (этиленгликолевая смесь или вода) — в нашем случае это кондиционеры Liebert НРМ L14 UC. На первом же этапе устанавливаются два прецизионных кондиционера шкафного типа с водяным охлаждением и выдувом под фальшпол Liebert НРМ М44 UC. Одного такого кондиционера (его явная холодопроизводительность составляет около 34 кВт) вполне достаточно, чтобы обеспечить электрощитовую и помещение под ИБП достаточным количеством холода; второй кондиционер гарантирует резервирование по схеме 2JV.
Холодильный центр (обычно не менее 100 кв. м — в зависимости от выбранного решения). На конфигурацию холодоцентра (размер, расположение, функционал) будут влиять характеристики конкретного здания ЦОДа. Возможны несколько вариантов реализации холодоцентра в зависимости от наличия эксплуатируемой кровли соответствующей несущей способности или места на прилегающей территории, возможности размещения шумно работающего оборудования вне здания и т. д. Соответственно будут использованы либо моноблочные чиллеры открытой установки, либо чиллеры с жидкостным охлаждением и выносными драйкулерами.
Систему уже на первом этапе нужно укомплектовать насосными станциями и баками-аккумуляторами общей емкостью не менее 40 куб. м, которые обеспечивали бы работу ЦОДа мощностью 1800 кВт. Предлагается установить два чиллера по 1 МВт каждый, а по мере необходимости добавить еще один.
Насосная станция должна быть обеспечена бесперебойным электроснабжением от ИБП, что вместе с баками-аккумуляторами гарантирует резервирование системы холодоснабжения на время пуска ДГУ в аварийной ситуации в системе электроснабжения.

 

Что ж, специалистам нашего вымышленного заказчика есть над чем задуматься, анализируя представленные проекты. Хочется отметить, что, хотя среди предложенных решений есть несколько, которые базируются на оборудовании одного и того же производителя, совсем одинаковых нет. Это и понятно: слишком сложна и многогранна поставленная задача. И если компании-производители обещают с легкостью обеспечить отвод 30 кВт тепла от стойки, то интеграторы более осторожны, часть из них вообще предложили понизить «верхнюю планку». Но в любом случае, надеемся, что представленная в статье информация поможет вам выбрать оптимальное решение для осуществления реальных проектов.