Холодоснабжение, кондиционирование воздуха
Coolling and air conditioning
  Энергосберегающее климатическое оборудование для объектов связи
Telecom free cooling air conditioning
 
Статьи

ЦОД: Сравнение систем охлаждения различных конфигураций. Технический и экономический аспекты.

П. Л. Ронжин
Директор ООО «ВЕНТСПЕЦСТРОЙ»

Приступая к строительству ЦОДа, необходимо еще на этапе составления технического задания четко представлять что повлечет за собой принятие того или иного технического решения. Это относится ко всей инженерной инфраструктуре строящейся площадки, но в данной статье мы рассмотрим достоинства и недостатки наиболее часто применяемых на практике систем охлаждения ЦОДов, а также взаимосвязь принимаемых при проектировании принципиальных решений с капитальными затратами на строительство и последующими операционными расходами при эксплуатации.

Как ни странно, но до сих пор нет четко устоявшейся терминологии, пользуясь которой, можно было бы с помощью одного-двух слов охарактеризовать тип системы охлаждения ЦОДа. Мне могут возразить, спросив: «А как же быть с такими терминами как CRAC, чиллер с фрикулингом и т.д.?» Да, есть такие определения, которые, к сожалению, не характеризуют систему в целом, потому что CRAC (воздушный кондиционер для компьютерных комнат в дословном переводе с английского) может быть как фреоновым кондиционером с воздушным конденсатором или водяным конденсатором, так и кондиционером, работающим на охлажденном холодоносителе, поступающем от чиллера. Более того, этот пресловутый CRAC может быть выполнен в виде традиционного прецизионного кондиционера с раздачей охлажденного воздуха вниз в фальш-польное пространство или с раздачей воздуха вверх, а может быть выполнен в виде так называемого межстоечного кондиционера.
В этой статье я не буду пытаться создать стройную классификацию систем охлаждения для ЦОДов. Просто попробую на конкретных примерах, взятых из жизни, показать достоинства и недостатки того или иного решения.

Решение 1. Система охлаждения ЦОДа с помощью «сплитов». Вам смешно? Мне тоже. Казалось бы эти два понятия «ЦОД» и «Сплиты» несовместимы друг с другом. Но мы продолжаем с завидным постоянством получать от заказчиков запросы на проработку систем охлаждения именно этого типа. Столь долгий и устойчивый интерес объясняется самой низкой ценой и инертностью мышления людей, которые раньше эксплуатировали маленькую серверную комнатку, где для охлаждения серверов было достаточно открыть форточку или дверь, но для солидности вешали настенный «сплит». Об единственном «плюсе» данного решения я сказал, а вот «минусов» гораздо больше:

- низкая надежность;
- небольшой ресурс;
- низкая энергоэффективность;
- плохое воздухораспределение;
- возможность использования только при низких нагрузках в стойках.

Вывод – тем, кто хочет построить серьезный ЦОД, даже не стоит задумываться над применением «сплитов».
Решение 2. Прецизионные кондиционеры с непосредственным расширением (DX). Фреоновые прецизионные кондиционеры с выносными воздушными конденсаторами и сейчас весьма популярны в качестве охлаждающих устройств для относительно небольших центров обработки данных, относящихся к Tier I и Tier II по классификации The Uptime Institute (США). Основными достоинствами фреоновых кондиционеров являются низкие капитальные затраты на оснащение дата-центра системой охлаждения, большой ресурс, относительно высокая надежность. Эти системы хорошо знакомы проектировщикам, монтажникам, службам эксплуатации. Существует множество мировых производителей, выпускающих продукцию этого типа, еще больше найдется фирм и организаций, которые возьмутся за оснащение ЦОД прецизионными кондиционерами.
К недостаткам можно отнести технические трудности, возникающие при использовании фреоновых кондиционеров в условиях экстремально низких или высоких температур наружного воздуха (ниже минус 30 и выше 40 градусов Цельсия). Кроме того, при строительстве дата-центров, требующих непрерывности охлаждения для обеспечения непрерывности технологического процесса, использование фреоновых кондиционеров может привести к серьезному удорожанию системы бесперебойного питания, которая при сбоях электропитания должна будет поддерживать, в том числе, и работу системы охлаждения. Мощность источников бесперебойного питания может вырасти больше чем на 30%. Но самым существенным недостатком данного решения в современных условиях будут высокие операционные затраты из-за большого потребления электроэнергии (в среднем 30% от всей электроэнергии, потребляемой ЦОДом). С этим главным недостатком можно было мириться, пока заказчики эксплуатировали серверные, с общим потреблением электроэнергии ИТ-оборудованием на уровне 30 кВт. Да, еще 10 кВт потребляли кондиционеры, но это же капля в море. Иное дело, когда речь идет о дата-центре на несколько мегаватт. Тратить ежеминутно, ежесуточно сотни киловатт на охлаждение становится непозволительной роскошью.

В результате, можно сказать, что DX-кондиционеры являются хорошим выбором для небольших дата-центров (до 100 кВт) с невысокими требованиями к непрерывности основных процессов.
Снизить годовое потребление электроэнергии прецизионными кондиционерами примерно на 35…40% (данные для Москвы) помогает использование фреоновых прецизионных кондиционеров с водяным охлаждением конденсаторов и системами естественного охлаждения на базе сухих градирен. Надо сказать, что в летний период такое кондиционерное оборудование будет потреблять немного больше электроэнергии, т. к. в данной схеме охлаждения к мощности работающих компрессоров и вентиляторов кондиционеров и градирен прибавляется мощность циркуляционных насосов, задача которых - обеспечение движения холодоносителя по контуру «кондиционер – градирня». Однако при понижении температуры наружного воздуха появляется возможность использования холода окружающей среды и компрессоры, являющиеся основными потребителями электроэнергии в кондиционерах, отключаются. За меньшие эксплуатационные расходы приходится расплачиваться более высокой ценой оборудования. В среднем, она выше на 25%.

Прежде чем перейти к рассмотрению следующего решения, хочу обратить внимание, что выбор типа того или иного оборудования для охлаждения дата-центра существенным образом влияет на конфигурацию смежных инженерных систем и даже на архитектуру здания, в конечном счете сказываясь на изменении полной стоимости владения ЦОДом. В частности, выбрав в качестве приборов охлаждения прецизионные кондиционеры (при этом неважно, фреоновые или водяные), необходимо тщательнейшим образом просчитать высоту фальшполов, высоту пространства между верхней частью стоек и потолком, а также количество и пропускную способность перфорированных плиток для подачи воздуха в холодные коридоры. Про влияние на источники бесперебойного питания я уже сказал выше. И так по всем системам. Просчитав изменение стоимости по смежным системам, в ряде случаев, можно будет увидеть, что выбор дешевых фреоновых кондиционеров приведет к удорожанию полной стоимости владения дата-центром, а также негативным образом скажется на доходности проекта.

Вывод – не стоит прельщаться низкой ценой кондиционеров, посмотрите глубже, что стоит за этим.
Решение 3. Прецизионные кондиционеры, работающие на холодоносителе. В настоящее время это наиболее популярное решение по системам охлаждения дата-центров класса Tier I, Tier II, Tier III и Tier IV. Конструкция данных кондиционеров проста: корпус, в котором расположен теплообменник, вентиляторы, фильтры и т. д. Изюминка заключается в том, что охлаждение воздуха в теплообменнике кондиционера происходит за счет циркуляции в нем холодоносителя, охлажденного в специальных холодильных машинах – чиллерах. В целом, система охлаждения центра обработки данных получается состоящей из цепочки элементов, правильное и эффективное функционирование которых играет огромную роль в построении процесса непрерывного охлаждения, столь важного для дата-центров высокого уровня доступности. Перечислю составные части системы охлаждения и те основные вопросы, которым следует уделять первоочередное внимание при проектировании:

- строительные конструкции (площадь серверных помещений, высота фальшполов, пропускная способность перфорированных плиток фальшпола, высота серверных помещений);
- прецизионные кондиционеры (способ регулирования холодопроизводительности, постоянный или переменный расход воздуха, расход холодоносителя, напор, энергопотребление, количество вводов по питанию, количество + резервирование, габариты);
- чиллеры (холодопроизводительность, постоянный или переменный расход холодоносителя, расход воздуха, минимальная и максимальная температуры окружающего воздуха, энергопотребление, количество вводов по питанию, наличие и тип системы естественного охлаждения, количество + резервирование, габариты, расположение);
- насосные станции (переменный или постоянный расход холодоносителя, напор, энергопотребление, питание от источников бесперебойного питания, количество + резервирование, габариты, расположение);
- трубопроводы, арматура, баки-аккумуляторы (места прохождения, пропускная способность, изоляция, наличие запорной и регулирующей арматуры, количество + резервирование, емкость баков, расположение);
- система автоматического управления и мониторинга (алгоритм управления и мониторинга системы, работа в штатных и аварийных режимах, резервирование).

Только по перечисленным вопросам видно, что  такие системы являются сложными и дорогими как в проектировании, так и в процессе строительства. В зависимости от уровня доступности ЦОДа стоимость системы охлаждения может быть выше на 30…50% по сравнению с DX-кондиционерами.
Плюсы таких систем проявляются в возможности более гибкой эксплуатации, учитывающей множество факторов, характерных для работы дата-центров. За счет использования в них фрикулинга, насосных групп с переменным расходом холодоносителя, электронно-коммутируемых вентиляторов и других технологий можно добиться почти двукратного снижения годового потребления энергии по сравнению с фреоновыми прецизионными кондиционерами.
Вывод – хорошее решение не может быть дешевым. Решение проверено временем и многочисленными инсталляциями, однако продолжает развиваться и быть актуальным не только в настоящий момент, но и в обозримом будущем.
Решение 4. Межстоечные кондиционеры, работающие на фреоне или на холодоносителе. Концепция межстоечных кондиционеров предусматривает размещение охлаждающих устройств в рядах стоек с серверным оборудованием, при котором кондиционеры забирают теплый воздух их горячих коридоров, охлаждают его и выбрасывают через фронтальные панели в холодный коридор, откуда холодный воздух поступает на охлаждение стоек через передние перфорированные панели. Основное ноу-хау данной технологии заключается в отсутствии в системе охлаждения фальшпола, т. к. воздух движется в горизонтальном направлении. Для повышения эффективности процесса охлаждения необходимо изолировать горячий воздух от холодного, что в этом случае делается с помощью легких строительных конструкций, перекрывающих горячие или холодные коридоры сверху и с торцов. Несмотря на то, что я упомянул о разделении потоков горячего и холодного воздуха только в описании этого типа системы охлаждения, справедливости ради, следует особо подчеркнуть, что изоляция потоков воздуха стала основным трендом в развитии любых типов систем охлаждения ЦОДов.
Главным достоинством этого решения является существенное снижение требований к размерам серверного помещения ввиду отсутствия фальшпола и возможности снимать со стоек достаточно высокие тепловые нагрузки (до 30кВт). Это позволяет располагать достаточно мощные дата-центры или суперкомпьютеры в небольших помещениях.
К недостаткам следует отнести то, что на начальном этапе заполнения ЦОДа приходится выстраивать законченный кластер из стоек и кондиционеров, а также дверей и перекрытий коридоров, и все неиспользованные места в стойках закрывать специальными заглушками для предотвращения процесса перемешивания теплого и холодного потоков воздуха.

Что касается использования в кондиционерах этого типа фреона или холодоносителя, то все достоинства и недостатки их использования точно такие же, как это описано в Решениях 2 и 3. Очевидно, что наибольший эффект и надежность системы можно получить, используя межстоечные кондиционеры, работающие на переменном расходе холодоносителя, для охлаждения которого используются чиллеры с фрикулингом.
Стоимость данного исполнения системы охлаждения сопоставима со стоимостью системы охлаждения, использующей прецизионные кондиционеры на холодоносителе. Но владелец может существенно снизить свои расходы на строительство ЦОДа за счет снижения стоимости здания.
Решение 5. Модули охлаждения с фазовым переходом хладагента. Могут рассматриваться в виде основных устройств в системе охлаждения серверного помещения, а также могут применяться в виде дополнения к Решениям 2,3,4. Модули представляют собой корпусы различной конфигурации, в которых размещаются теплообменники и вентиляторы. Охлаждение воздуха происходит за счет кипения жидкого хладагента в теплообменнике. В отличие от прецизионных кондиционеров на холодоносителе в данном случае используется энергия фазового перехода хладагента из жидкого состояния в газообразное. В качестве хладагента используется фреон или углекислота.
Кроме непосредственно самих модулей охлаждения для функционирования такой системы потребуется система трубопроводов для хладагента, рассчитанная на максимальное давление 30 бар для фреона и 50 бар для углекислоты, насосная группа для организации циркуляции хладагента, промежуточный теплообменник хладагент/холодоноситель, чиллеры, контур циркуляции холодоносителя с насосной группой. Даже из перечисления всех составляющих системы охлаждения видно, что решение является очень дорогим. Целесообразность его применения я вижу только в том случае, когда жизненно необходимо увеличить плотность нагрузки в уже действующем дата-центре. Либо когда ИТ-специалисты испытывают непреодолимую фобию к присутствию водяных систем охлаждения в центрах обработки данных. Несмотря на то, что вода уже как десятилетие используется для охлаждения ИТ-оборудования и ведутся серьезные разговоры об охлаждении водой на уровне платы мы очень часто сталкиваемся с необоснованным страхом использования водяных систем в серверных помещениях. Хотя с нашей точки зрения фреоновые системы куда опаснее в плане негерметичности, так как утечка фреона или углекислоты в замкнутом пространстве серверного помещения может вызвать потерю сознания у людей и смерть от удушья. Поэтому в дополнение ко всем вышеперечисленным элементам данной системы охлаждения необходимо прибавить дорогостоящую автоматическую систему обнаружения утечек хладагента.

Вывод – оснащение Вашего дата-центра подобной системой охлаждения – не столько технологическая, сколько имиджевая необходимость, которая сродни покупке BMW X6 - можно ездить на чем-нибудь и попроще, но положение обязывает…
Решение 6. Стойки с интегрированными модулями охлаждения. Идея понятна – приблизить тепловую нагрузку к приборам охлаждения. На практике это реализуется в виде серверных шкафов со встроенными теплообменниками и вентиляторами, позволяющими снимать достаточно высокие тепловые нагрузки. Воздух циркулирует по кругу, не выходя за пределы стойки. Основной недостаток – при выходе из строя теплообменника или запорно-регулирующей арматуры стойку придется отключить. Развитием данной технологии является совмещение стоек через боковые поверхности со специальными кондиционерами. Тогда в случае неисправности одного из них будет продолжать поддерживать тепловой режим оставшийся кондиционер.

Используя стойки с интегрированными модулями охлаждения вряд ли можно добиться существенной экономии площади по сравнению с другими конструктивными решениями, но вот обойтись без фальш-пола, а значит использовать помещения с более низкими потолками можно. Само оборудование для охлаждения обойдется достаточно дорого, поэтому я бы порекомендовал использовать его в небольших дата-центрах, в которых по каким-либо причинам невозможно применение других решений.
Решение 7. Новые «зеленые» методы охлаждения. Назвать их совсем новыми нельзя, так как подобные принципы, а речь, в частности, идет об использовании роторных рекуперативных теплообменников, широко и давно используются в системах центрального кондиционирования и вентиляции в гражданском строительстве. Идея лежала на поверхности и ждала своего часа, пока рождалось понимание, что не надо в прямом смысле этого слова  «морозить» ИТ-оборудование в дата-центрах. Также огромную роль сыграло то обстоятельство, что стоимость электроэнергии неуклонно росла, а дата-центры становились все крупнее и крупнее.
Не вдаваясь в технические подробности, хочу сказать, что решение позволяет максимально долго использовать холод окружающей среды (воздуха), не используя работу холодильных машин. Машинное охлаждение не используется вплоть до температуры наружного воздуха 22 ОС. Для средней полосы России это означает, что можно выйти на коэффициент использования энергии в дата-центре PUE=1,1…1,15. Для сравнения скажу, что в настоящее время средняя величина этого коэффициента для дата-центров составляет 2,5.

Капитальные затраты на строительство ЦОДа с применением этой технологии будут примерно равны капитальным затратам с применением других традиционных технологий, но они будут по разному разнесены по времени. Если первоначальные затраты в инженерную инфраструктуру систем охлаждения коммерческого ЦОДа с применением чиллеров и прецизионных кондиционеров в обычном случае составляют около 70%, то в случае использования роторных регенераторов – только 25%. И это при существенном снижении операционных расходов. Соответственно, такой дата-центр будет очень быстро окупаться, что немаловажно для инвесторов.
В описании применяемых технологий охлаждения дата-центров я умышленно не останавливался на тех или иных технических подробностях, стараясь показать картину в целом. Надеюсь, читателям будут полезны приведенные в статье сведения, которые позволят им выбрать максимально выгодное для них решение.