Холодоснабжение, кондиционирование воздуха
Coolling and air conditioning
  Энергосберегающее климатическое оборудование для объектов связи
Telecom free cooling air conditioning
 
Статьи

Не только кондиционер...

Основные компоненты систем охлаждения ЦОДов

Журнал ИКС, июль – август 2011
П. Л. Ронжин
Директор ООО «ВЕНТСПЕЦСТРОЙ»

Когда заходит разговор о системе охлаждении в ЦОДе, многие мои собеседники сразу же начинают говорить о чиллерах и о кондиционерах той или иной фирмы. Меня радует тот факт, что уже никому не надо объяснять что такое «чиллер». Еще больше радости приносит то, что сегодня большинство заказчиков понимают разницу между кондиционерами типа «сплит-система» и прецизионными кондиционерами. Безусловно, в сознании людей, которые строят, эксплуатируют, обслуживают и пользуются услугами дата-центров, за последние 2…3 года произошел переход на качественно новый уровень. И если раньше словосочетание «система охлаждения» воспринималось буквально как «прецизионные кондиционеры», то теперь, специалисты, умудренные порой негативным опытом, рассматривают это понятие гораздо шире.

Да, кондиционеры, холодильные машины или другие источники холода по-прежнему остаются основными элементами систем охлаждения. Но также как сердце и легкие не являются человеком, хотя это важнейшие его органы, так и холодильное оборудование, какое оно бы не было хорошим и эффективным, не является системой охлаждения. Более того, забыв или не уделив должного внимания другим элементам системы, есть большой риск получить в конечном итоге «колосса на глиняных ножках», который может рухнуть в любую секунду. Даже если последствия «недоработанности» всей системы в целом не будут такими катастрофическими, мы получим крайне неэффективную систему. С учетом того, что системы охлаждения ЦОДов стоят на втором месте по потреблению электроэнергии после непосредственно полезной ИТ-нагрузки, непроработанная система охлаждения вызовет сильное снижение эффективности всего ЦОДа.

Рассмотрим из чего состоит система охлаждения ЦОДа и попробуем сформулировать на что в том или ином случае следует обратить внимание. Прежде всего, следует отметить, что в настоящее время в ЦОДах используется несколько разных вариантов систем охлаждения. На страницах журнала мы рассматривали их классификацию, достоинства и недостатки той или иной схемы. Настало время более подробно остановиться на составных элементах технических решений.

1. Система охлаждения на базе прецизионных кондиционеров с непосредственным расширением (DX). В классическом варианте система охлаждения состоит из:

- прецизионных кондиционеров (внутренних блоков) с подачей холодного воздуха вниз и забором теплого воздуха сверху;

- конденсаторов с воздушным охлаждением (наружных блоков);

- низкотемпературных комплектов;

- трубопроводов для жидкого и газообразного фреона;

- пароувлажнителей;

- трубопроводов подвода воды для пароувлажнителей;

- трубопроводов отвода конденсата (дренажной системы);

- гидроизоляции и защиты от протечек;

- фальшпольного пространства;

- перфорированных панелей фальшпола для подачи воздуха в «холодные» коридоры;

- «холодных» коридоров;

- «горячих» коридоров;

- пространства над стойками или воздуховодами для удаления горячего воздуха;

- системы подпора (приточно-вытяжной вентиляции);

- системы электропитания кондиционеров;

- системы управления, мониторинга и диспетчеризации.

Как видно из перечисленного списка самая простая система охлаждения уже тянет на полтора десятка позиций. На что же следует обратить внимание при проектировании и строительстве системы охлаждения ЦОДа?

Прецизионные кондиционеры должны не только обладать необходимой холодопроизводительностью в киловаттах, но и обеспечивать соответствующий стойкам расход воздуха и его напор, чтобы преодолеть аэродинамическое сопротивление фальшпольного пространства, перфорированных панелей, стоечного оборудования и воздуховодов. Исходя из этого, высота фальшпола должна быть строго рассчитана для обеспечения беспрепятственного прохождения воздуха с учетом проложенных кабельных систем, трубопроводов, лотков и т. п. К выбору перфорированных панелей фальшпола стоит подойти с особой тщательностью – они могут оказаться «игольным ушком» системы охлаждения. В своей практике обследования проблемных ЦОДов мы не раз сталкивались с тем, что прекрасная работа кондиционерного оборудования сводилась к нулю из-за того что перфорированные панели в холодных коридорах не могли пропустить необходимое количество воздуха.

Конденсаторы воздушного охлаждения должны соответствовать по производительности внутренним блокам, и самое главное, должны быть подобраны для работы при экстремально высоких температурах, которые возможны для района размещения дата-центра. Кроме того, существует еще ряд специфических требований, оговоренных производителями оборудования, для взаимного расположения внутренних и наружных блоков относительно друг друга. Для российских климатических условий прецизионные кондиционеры должны быть в обязательном порядке укомплектованы низкотемпературными комплектами, позволяющими работать при экстремально низких температурах, когда-либо наблюдавшихся в данной местности.

Отдельных слов заслуживают трубопроводы для газообразного фреона. Существует перечень очень жестких требований к проектированию и монтажу фреонопроводов. Они должны быть определенного расчетом сечения, прочными и герметичными. В современных системах давление опрессовки может составлять 50 бар! Трубопроводы должны быть хорошо теплоизолированы, т. к. температура медной трубы на выходе компрессора может достигать 60…70 ОС, и иметь небольшой уклон в сторону движения фреона для обеспечения циркуляции масла по контуру. Если наружные и внутренние блоки значительно разнесены по высоте, необходимо предусмотреть специальные маслоподъемные петли. Я не зря так подробно останавливаюсь на этом вопросе, потому что не раз сталкивался с тем, что до начала монтажа многие заказчики не вполне понимают что такое фреоновый трубопровод, думая, что его можно также легко проложить как тонюсенький кабель.

«Холодные» и «горячие» коридоры должны быть изолированы друг от друга. Данному вопросу  за последнее время было посвящено множество публикаций, доказывающих, что таким нехитрым и недорогим способом можно существенно повысить эффективность работы системы охлаждения.

Пространство над стойками (в ряде случаев применяются воздуховоды для удаления горячего воздуха) играет примерно ту же роль, что и фальш-польное пространство. Эта одна из составляющих контура циркуляции воздуха, о которой не стоит забывать.

Особое внимание надо уделить электропитанию кондиционеров. Для обеспечения бесперебойной работы дата-центра с рассматриваемым техническим решением по системе охлаждения требуется организовать питание наружных и внутренних блоков от ИБП. Причем ИБП должен обеспечивать пуски компрессоров, которые характеризуются высокими значениями пусковых токов.

Система подпора (приточно-вытяжной вентиляции) является отдельной инженерной системой дата-центра. Но не зная ее вклада в общие тепловыделения, нельзя рассчитать суммарную холодопроизводительность системы охлаждения. Кроме того, неправильное расположение дефлекторов приточной вентиляции может исказить показания датчиков температур, расположенных в серверном помещении, что приведет к неадекватной работе системы охлаждения.

Ну и чтобы получить «полноценную» систему охлаждения остается совсем немного: автоматизировать систему, организовать ее диспетчеризацию, грамотно подвести воду для пароувлажнителей, предусмотреть дренажные трубопроводы, при необходимости, конденсатные насосы (а они должны выдерживать высокие температуры, т. к. из увлажнителей периодически сливается горячая вода), систему сигнализации об утечках воды, гидроизоляцию пола и т.п. вещи. Только проработав в комплексе весь круг вопросов, Вы сможете с уверенностью сказать, что система охлаждения ЦОДа будет работоспособной в любой ситуации.

Мы рассмотрели самый простой случай организации системы охлаждения. Как будет изменяться система в других случаях?

2. Система охлаждения на базе прецизионных кондиционеров с непосредственным расширением (DX) с водяными конденсаторами и фрикулингом. Состав системы:

- прецизионные кондиционеры (внутренние блоки) с дополнительным теплообменником фрикулинга;

- сухие градирни (наружные блоки);

- трубопроводы холодоносителя;

- гидравлический модуль;

- пароувлажнители;

- трубопроводы подвода воды для пароувлажнителей;

- трубопроводы отвода конденсата (дренажной системы);

- гидроизоляция и защита от протечек;

- фальшпольное пространство;

- перфорированные панели фальшпола для подачи воздуха в «холодные» коридоры;

- «холодные» коридоры;

- «горячие» коридоры;

- пространство над стойками или воздуховодами для удаления горячего воздуха;

- система подпора (приточно-вытяжная вентиляция);

- система электропитания кондиционеров;

- система управления, мониторинга и диспетчеризации.

Прецизионные кондиционеры с дополнительным теплообменником фрикулинга в теплое время года охлаждают воздух за счет кипения фреона в основном теплообменнике под названием испаритель. В холодное время года используется фрикулинг – холодоноситель, охлажденный в сухих градирнях, поступает для охлаждения в дополнительный теплообменник. Фреоновый контур, а значит, компрессор, зимой может полностью выключаться.

Сердце данной системы охлаждения – это гидравлический модуль, который должен обеспечить циркуляцию холодоносителя по «кровеносной» системе, трубопроводам. Гидравлический модуль, в свою очередь, состоит из основных и резервных насосов, запорно-регулирующей арматуры, обратных клапанов, фильтров, расширительного бака для компенсации изменения объема холодоносителя при разных температурах. Модуль соединяется трубами с кондиционерами и сухими градирнями. Наиболее распространенная ошибка, которую делают заказчики при подготовке технического задания на данную систему охлаждения, - не предусматривают площадей для размещения гидравлического модуля. К сожалению, все то, что мы перечислили выше, требует достаточно много места не только для размещения, но и обслуживания.

Система электропитания в данном случае должна предусматривать не только питание от ИБП кондиционеров и градирен, но и питания оборудования гидравлического модуля.

3. Чиллеры и прецизионные кондиционеры, работающие на холодоносителе.

Состав системы:

- прецизионные кондиционеры (внутренние блоки);

- чиллеры;

- трубопроводы холодоносителя;

- гидравлический модуль;

- бак-аккумулятор;

- пароувлажнители;

- трубопроводы подвода воды для пароувлажнителей;

- трубопроводы отвода конденсата (дренажной системы);

- гидроизоляция и защита от протечек;

- фальшпольное пространство;

- перфорированные панели фальшпола для подачи воздуха в «холодные» коридоры;

- «холодные» коридоры;

- «горячие» коридоры;

- пространство над стойками или воздуховодами для удаления горячего воздуха;

- система подпора (приточно-вытяжная вентиляция);

- система электропитания;

- система управления, мониторинга и диспетчеризации.

Гидравлический модуль, аналогичный по составу предыдущему случаю, должен обеспечивать циркуляцию холодоносителя от чиллеров к прецизионным кондиционерам и обратно. Главным отличием данной гидравлической схемы является то, что все кондиционеры и чиллеры связаны трубопроводами холодоносителя в единую сеть, которая должна позволять включать в работу резервные кондиционеры и чиллеры. Однако в дата-центрах класса Tier 3 и Tier 4 для обеспечения необходимого уровня доступности предусматривается несколько независимых гидравлических контуров, объединяющих группы чиллеров и кондиционеров. Более того, резервируются и сами трубопроводы. При проектировании систем охлаждения подобных ЦОДов главную трудность составляет не обеспечение охлаждения серверного оборудования в штатном режиме, а поддержание высокого уровня доступности сервиса вне зависимости от различного рода обстоятельств.

Бак-аккумулятор является простым, но очень эффективным средством бесперебойного холодоснабжения при авариях систем основного электропитания. Его емкость рассчитывается исходя из времени, необходимого для перехода на резервное питание, запуска и выхода на рабочий режим чиллеров. В принципе, чем больше будет его объем, тем лучше. Ограничением «сверху» здесь служат здравый смысл, а также возможности площадки, несущих конструкций и стоимости.

Система электропитания должна обеспечивать переход на резервное питание чиллеров и кондиционеров, насосов и т. п., но насосы, запорно-регулирующая арматура, кондиционеры и системы управления должны иметь питание от ИБП.

4. Чиллеры и межстоечные кондиционеры, работающие на холодоносителе. Не имеет смысла перечислять весь состав системы, он аналогичен предыдущей. Остановимся только на различиях.

Сильная сторона внутрирядной системы кондиционирования – отсутствие фальшполов, перфорированных панелей и т. д. Контур циркуляции воздуха гораздо проще: горячий коридор – кондиционеры – холодный коридор – серверные стойки. Для эффективной работы системы кондиционирования необходимо проработать вопросы изоляции (перекрытия) холодных или горячих коридоров и «глушения» незанятых серверами мест в стойках.

В силу архитектуры внутрирядного кондиционирования серьезным вопросом часто является подвод холодоносителя к кондиционерам и отвод конденсата, т. к. в большинстве случаев отсутствует фальшпол или его высота не позволяет подвести трубопроводы снизу. Поэтому трубные системы приходиться проектировать и монтировать таким образом, чтобы исключить вероятность затопления серверов холодоносителем при разгерметизации гидравлического контура.

5. Стойки с интегрированными модулями охлаждения. Самое простое решение с точки зрения организации воздушных потоков, т. к. и серверное оборудование и охладитель находятся внутри шкафа.

В зависимости от того что используется, холодоноситель или фреон, проектируется трубопроводная часть и уличные подсистемы (чиллеры или наружные блоки). Принципы их проработки остаются такими же, как и в вышеприведенных случаях.

Заказчикам, которые предполагают строить свой дата-центр на базе охлаждаемых шкафов следует уделить особое внимание резервированию серверных мощностей, потому что обычно теплообменник модуля охлаждения не резервируется (есть только резервные вентиляторы) и при его разгерметизации шкаф остается без охлаждения. Выходом из данной ситуации является оснащение серверного шкафа двумя модулями охлаждения, но при этом сильно вырастают массо-габаритные показатели, сводя на нет все изящество и кажущуюся компактность данного решения.

6. KyotoCooling. Название в данном случае вводит в заблуждение. Это не название холодильного оборудования, а название суммы технологий, в том числе, охлаждения, которые минимизируют энергопотребление дата-центров, что приводит к уменьшению эмиссии парниковых газов в соответствии с Киотскими соглашениями.

Эффективность охлаждения с помощью KyotoCooling напрямую связана с архитектурой дата-центра. Если Вы собрались использовать KyotoCooling, Вы должны сразу отказаться от мысли приспособить под дата-центр какие-то пустующие площади. В 95 % они Вам не подойдут. Решение очень хорошее, если у Вас есть возможность строить дата-центр с чистого листа. Тогда Вы сможете нормально разместить охлаждающие модули с роторным рекуператором, обеспечить подвод воздуха к серверному залу и возврат горячего воздуха. Основное внимание и время при проектировании такой системы охлаждения будет затрачено на проектирование воздушного контура. При кажущейся простоте (нет труб, высокого давления, холодоносителя) обеспечение нормальной циркуляции воздуха без образования застойных зон и местного перегрева оборудования является трудной задачей, посильной только для высококвалифицированных специалистов.

Надеюсь, читатели, которые прочтут эту статью, теперь будут вооружены определенными познаниями, что позволит им при выборе системы охлаждения для дата-центра не только ориентироваться на строчку с указанием стоимости кондиционеров и чиллеров.