Холодоснабжение, кондиционирование воздуха
Coolling and air conditioning
  Энергосберегающее климатическое оборудование для объектов связи
Telecom free cooling air conditioning
 
Статьи

Еще один шаг к «зеленому» ЦОДу: совершенствуем систему охлаждения.

Еще один шаг к «зеленому» ЦОДу: совершенствуем систему охлаждения.

Опубликовано в журнале «ИКС»

П. Л. Ронжин
Директор ООО «ВЕНТСПЕЦСТРОЙ»

В ряде стран проблемы энергопотребления ЦОДов давно перестали быть проблемами их владельцев. В США и странах Европы приняты законы, направленные на использование энергосберегающих технологий. Колоссальное потребление энергоресурсов центрами обработки данных (в США уровень потребления вплотную приблизился к отметке 100 млрд. кВт*ч) заставляет задуматься об экологическом аспекте. Как известно, выработка электроэнергии сопровождается выбросами в атмосферу парниковых газов и тепла, вызывающих парниковый эффект и, как следствие, глобальное потепление.
Оптимизация энергопотребления ЦОДа – задача комплексная. Ее решение начинается еще на стадии составления технического задания, в котором четко прописываются критерии, которым должны соответствовать те или иные инженерные системы и центр обработки данных в целом. Следующим шагом является выбор энергосберегающих проектных решений, за которым следуют поставка и монтаж систем и их грамотная эксплуатация.
Специалистам известно, что системы охлаждения ЦОДов стоят на втором месте после серверного оборудования по потреблению энергии. Что можно сделать, чтобы существенно снизить долю потребления системами охлаждения и тем самым повысить эффективность ЦОДа? Возможно ли это? Как это сделать? Попробуем ответить на эти вопросы, систематизировав наработки, которые были сделаны и внедряются в последнее время у нас и за рубежом.

Прежде всего, следует оговориться, что все сказанное ниже будет относиться к средним и большим дата-центрам с мощностью тепловыделений свыше 500 кВт. Это не означает, что описываемые решения не применимы для малых центров обработки информации, тем не менее, у них есть своя специфика, которая не рассматривается в данной статье и, кроме того, при малых мощностях вопросы сокращения энергопотребления часто перечеркиваются более высокими капитальными затратами при строительстве.
Отрадная российская тенденция последних лет заключается в том, что в системах холодоснабжения и кондиционирования серверных помещений дата-центров в большинстве случаев, хотя и не всегда, стали применяться такие технологии как фрикулинг (от английского free cooling – свободное (естественное) охлаждение) и изоляция холодных и горячих коридоров. В общем-то, это те две вещи, которые лежали на поверхности, но еще пять лет назад наши предложения по их использованию принимались заказчиками в штыки.
Ситуация с разделением холодного и горячего воздушных потоков  и изоляцией коридоров будет рассмотрена ниже. Сначала рассмотрим вопросы, связанные с холодоносителем и системами естественного охлаждения.
Итак, фрикулинг. Несмотря на повсеместную встречаемость этого слова в описании систем охлаждения, далеко не всем ясно, как он работает и какие есть резервы для его использования. Под словом «фрикулинг» обычно понимают специальные системы холодильных машин (чиллеров), использующие низкие температуры окружающей среды для охлаждения холодоносителя. Существует три типа чиллеров, оснащенных системами естественного охлаждения:
- моноблочные холодильные машины с воздушным охлаждением конденсаторов со встроенными теплообменниками фрикулинга, в которых происходит охлаждение холодоносителя наружным воздухом;
- моноблочные холодильные машины с воздушным охлаждением конденсаторов, в которых фрикулинг реализуется за счет прохождения фреона через теплообменники холодильного контура с помощью циркуляционных насосов при выключенных компрессорах;
- холодильные машины со встроенными водяными или выносными воздушными конденсаторами, работающие в паре с сухими градирнями, которые выполняют роль систем фрикулинга.
Казалось бы, какая разница, какой тип фрикулинга используется в холодильном центре ЦОДа? А разница есть, и существенная. Только в первом случае возможна комбинированная одновременная работа холодильной машины с использованием компрессоров (машинного охлаждения) и фрикулинга (охлаждение за счет низких температур окружающей среды), то есть фрикулинг включается в работу постепенно с увеличением своего вклада в холодопроизводительность от 0  до 100 % пропорционально понижению температуры наружного воздуха.
 

Во втором и третьем случаях компрессоры холодильных машин будут работать до тех пор, пока температура наружного воздуха не достигнет такого значения, при котором производительность фрикулинга составит 100 % от холодопроизводительности чиллера, то есть возможен только режим включен/выключен.
На практике это проявляется следующим образом. В чиллерах первой группы фрикулинг активизируется уже при температуре +10О С при стандартных температурах холодоносителя на входе/выходе холодильной машины составляющих 12/7О С. Системы холодоснабжения, использующие машины второй и третьей группы перейдут на естественное охлаждение при температуре около 0О С. Заглянув в СНиП 23-01-99 «Строительная климатология», мы увидим, что для Москвы продолжительность периода со средней суточной температурой воздуха меньше нуля градусов составляет 145 суток, а с температурой меньше десяти градусов – 231. Иными словами, применив для охлаждения ЦОДа машины из первой группы, вы автоматически получаете дополнительные три месяца экономии!
Самое интересное заключается в том, что мы еще больше можем раздвинуть временные рамки работы систем фрикулинга. В стандартном случае в качестве рабочего тела в системах прецизионного кондиционирования серверных залов ЦОДов используется холодоноситель с температурами прямой и обратной ветвей 7/12О С. В соответствии со стандартом TIA – 942 температура воздуха в холодных коридорах должна поддерживаться в диапазоне 20…25 градусов, а по последним рекомендациям тактического комитета TC9.9 ASHRAE (Американского общества инженеров по отоплению, охлаждению и кондиционированию) верхний предел температуры в холодном коридоре можно поднять до 27 градусов. Если ориентироваться на температуры в холодном коридоре, приближенные к верхним допустимым значениям, можно расширить рабочий температурный диапазон холодоносителя до значений 7/15О С. Такое незначительное изменение стандартных параметров позволить нам в условиях Москвы эксплуатировать чиллеры в режиме частичного или полного фрикулинга в течение почти девяти месяцев в году, так как естественное охлаждение будет включаться при более высоких температурах наружного воздуха. Хочу заметить, что если заказчики смогут преодолеть психологический барьер, разрешив проектировщикам систем охлаждения еще поднять верхнюю температурную границу холодоносителя, они имеют шанс получить холодильный центр, который будет использовать в своей работе фрикулинг около 11 месяцев в году.
Кроме увеличения времени действия систем фрикулинга при переходе на расширенный температурный диапазон холодоносителя мы получаем дополнительные инструменты для повышения энергоэффективности ЦОДа.
Во-первых, сократится количество влаги, которая конденсируется на теплообменниках кондиционеров в процессе охлаждения воздуха. В свою очередь, это приведет к тому, что холод будет расходоваться именно на понижение температуры, а не на осушение воздуха. Соответственно, нужно будет меньше затрачивать электроэнергии на работу пароувлажнителей. По оценкам Uptime Institute доля энергии, затрачиваемой на поддержание влажности, от общей подводимой к ЦОДу электроэнергии составляет 3%. Поэтому, если удастся сэкономить хотя бы один процент, это уже будет существенная цифра.
Во-вторых, при работе чиллеров с расширенным температурным диапазоном холодоносителя существенно снижается его расход. Проиллюстрирую ситуацию на простом примере. Для производства одного мегаватта холода чиллеру серии GLIDER FREE итальянской компании RC Group требуется расход холодоносителя с температурами 7/12ОС, составляющий 203 м3/ч. Для того же чиллера, производящего тот же мегаватт холода, но с холодоносителем 7/15 О С, потребуется уже всего 127 м3/ч, т. е. в 1,6 раза меньше! Исходя из того, что объемный расход циркуляционных насосов изменяется пропорционально изменению числа оборотов, а потребляемая мощность – пропорционально третьей степени изменения числа оборотов, можно сделать вывод, что используя расширенный температурный диапазон холодоносителя, мы до 4(!) раз можем снизить мощность насосной группы. Применительно к дата-центру с тепловыделениями, составляющими 2,5 МВт, экономия только на электроэнергии, затрачиваемой на работу насосов, могла бы составить почти 46 тыс. евро в год. И это без учета той экономии, которую дает более длительный период работы фрикулинга.
Всё, что было сказано выше, относится к работе систем холодоснабжения при полной загрузке, но мы знаем, что нагрузка ЦОДа является переменной величиной, редко достигающей 100 %. Чтобы понять, какие резервы энергосбережения можно дополнительно использовать, необходимо рассмотреть процессы, протекающие в системах охлаждения при частичной нагрузке. Для регулирования холодопроизводительности прецизионных кондиционеров обычно используют так называемые трехходовые клапаны, которые при снижении тепловой нагрузки от серверного оборудования направляют часть холодоносителя в обход теплообменника кондиционера. Для традиционных систем охлаждения ЦОДов при тепловой нагрузке 75 % мы будем наблюдать следующую картину. Приходящий к кондиционеру холодоноситель с температурой 7ОС разделяется на 2 потока: один из которых, составляющий 40 %, идет в теплообменник кондиционера для охлаждения воздуха, а второй (60 %) байпасируется с помощью трехходового клапана. За теплообменником потоки смешиваются, и из кондиционера выходит холодоноситель с температурой 10,7 ОС (вместо 12 ОС), поступающий в дальнейшем в чиллер для охлаждения. В таком режиме работы одновременно проявляются сразу два негативных фактора:
- насосы работают на 100% расхода, тогда как для охлаждения нам нужно всего 40%;
- за счет того, что температура обратной линии холодоносителя понизилась, фрикулинг начинает свою работу не при 10 ОС, а при 8,7 ОС.
Для 50-процентной нагрузки эти цифры будут еще более впечатляющи: 80% расхода холодоносителя будет бесполезно циркулировать по трубопроводам системы холодоснабжения, а температура начала включения естественного охлаждения снизится до 7,5 ОС.
Для повышения эффективности работы систем охлаждения при частичных нагрузках в ЦОДах следует применять прецизионные кондиционеры, оснащенные регулирующими двухходовыми клапанами, и насосные группы с переменной производительностью, например, с частотным регулированием скорости вращения.
Такие системы всегда будут поддерживать высокую температуру холодоносителя в обратной линии, тем самым, создавая наилучшие условия для более раннего включения в работу систем фрикулинга. В системе холодоснабжения будет циркулировать столько холодоносителя, сколько необходимо в данный момент для снятия тепловой нагрузки. Эффект станет кумулятивным, если реализовать работу системы холодоснабжения, использующую переменный расход при частичных нагрузках с расширенным температурным диапазоном холодоносителя.  Для 75-процентной тепловой нагрузки потребляемая мощность насоса с постоянным расходом холодоносителя с температурами 7/12ОС и мощность насоса с переменным расходом холодоносителя с температурами 7/15ОС будут цифрами разного порядка!
Теперь, разобравшись с холодоносителем и чиллерами, поговорим о воздухе. Люди, не понаслышке знакомые с эксплуатацией систем прецизионного кондиционирования ЦОДов, хорошо знают, что для обеспечения в холодном коридоре температуры в интервале 20…25ОС необходимо охладить воздух в прецизионном кондиционере примерно до 13 ОС. Низкая температура подаваемого воздуха компенсируется смешением в серверном зале потоков горячего и холодного воздуха. Изоляция горячих и холодных коридоров сначала стала применяться именно как средство борьбы с перегревом серверов, расположенных в верхних частях монтажных шкафов, за счет захвата теплого воздуха из горячего коридора.
На самом деле у разделения коридоров более глубокий смысл, так как оно позволяет поднять температуру подаваемого к оборудованию воздуха. В свою очередь, это скажется на повышении температуры выходящего из кондиционеров холодоносителя, положительный эффект от которого мы рассмотрели выше. Чрезвычайно важным моментом является полная изоляция воздушных потоков, при которой горячий воздух от серверного оборудования направляется на теплообменники кондиционеров. Чем выше будет температура поступающего в кондиционеры воздуха, тем эффективнее они будут работать! Исследования этого вопроса зарубежными специалистами показывают, что можно добиться пятикратного снижения эксплуатационных затрат при использовании системы кондиционирования с полным разделением воздушных потоков по сравнению с традиционной.
Отличным средством повышения энергоэффективности работы систем кондиционирования, причем совершенно бесплатным, является задание правильных уставок на кондиционерном оборудовании. Наш опыт обследования российских ЦОДов и серверных помещений показывает, что в девяти случаях из десяти специалисты эксплуатирующих служб находятся в плену своих собственных заблуждений.
Самое распространенное из них – чем ниже температура воздуха, тем больший создается «запас холода», который позволит некоторое время проработать при отключенных кондиционерах. К сожалению, в действительности в виду очень низкой теплоемкости воздуха проработать сколько-нибудь значительное время не получится, так как при отсутствии баков-аккумуляторов с запасом большого количества холодоносителя скорость роста температуры в серверном помещении будет составлять десятки градусов в минуту.
Вторая по распространенности ошибка – непонимание того, какие уставки записываются в контроллеры прецизионных кондиционеров. Дело в том, что в большинстве обычных прецизионных кондиционеров задаются для поддержания параметры воздуха, которые измеряются датчиками, располагающимися на входе в кондиционер, т.е. в горячем коридоре при соблюдении принципа изоляции потоков. Не понимая этого, служба эксплуатации задает значения параметров воздуха для холодных коридоров (например, 20ОС и 50% влажности), тем самым заставляя кондиционеры непрерывно работать на ненужное понижение температуры в горячем коридоре с включенными пароувлажнителями, так как обычно в зоне расположения датчиков средние значения этих параметров колеблются около значений 33ОС и 30…40% по влажности.
Третья ошибка – при проблемах с локальным перегревом в нескольких стойках занижаются уставки по температуре по всему залу. В общем случае, количество отводимого тепла равно произведению расхода воздуха на теплоемкость на разницу температур. Занижая уставки, мы действительно увеличиваем разницу температур на входе и выходе в стойку и, соответственно, увеличиваем количество тепла, которое мы можем отвести от стойки, в которой наблюдается перегрев. Но для всех остальных стоек такое увеличение не нужно, оно только лишь приводит к понижению температуры воздуха в горячем коридоре и понижению эффективности работы кондиционеров. Правильное решение в данном случае – увеличение подачи воздуха в ту часть холодного коридора, где располагаются перегревающиеся стойки. В ряде случаев, для увеличения расхода достаточно заменить несколько перфорированных плит фальш-пола на плиты с большей степенью перфорации.
Для достижения экономичной и эффективной работы систем кондиционирования в соответствии со сказанным выше, необходимо поддерживать в холодных коридорах допускаемые серверным оборудованием максимально высокую температуру и минимальную относительную влажность воздуха.
Подытоживая рассмотренные в статье пути энергосбережения, перечислим их еще раз:
1. Использование чиллеров, способных работать в комбинированном режиме работы фрикулинга.
2. Расширенный температурный диапазон холодоносителя.
3. Применение систем холодоснабжения с переменным расходом холодоносителя.
4. Разделение холодного и горячего потоков воздуха.
5.  Поддержание в холодных коридорах максимально высокой температуры и минимальной относительной влажности воздуха.
Есть и другие способы снижения энергопотребления системами охлаждения, о которых мы не упомянули в силу ограниченности объема статьи. Мы постарались перечислить те принципы, которые необходимо закладывать еще на этапе подготовки технического задания, ведь правильно сформулированная задача является наполовину решенной.