Холодоснабжение, кондиционирование воздуха
Coolling and air conditioning
  Энергосберегающее климатическое оборудование для объектов связи
Telecom free cooling air conditioning
 
Статьи

ОТВОД ТЕПЛА В ЦОДе: ПЛОТНОСТЬ ИЛИ ПЛОЩАДЬ?

А. Г. Барсков

Все больше компаний стремятся концентрировать свои вычислительные средства и информационные ресурсы в центрах обработки данных (ЦОД), при проектировании и строительстве которых одной из ключевых инженерных задач наряду с обеспечением электропитания должной мощности и качества является отвод тепла от основного оборудования.

За прошедший год в обсуждаемой области наметились две важные тенденции. С одной стороны, новые технические средства, в том числе использующие жидкостное охлаждение, позволяют отводить все больше тепла от одного монтажного шкафа (стойки) с оборудованием — в брошюрах и презентациях производителей систем охлаждения приводятся цифры в 60 кВт и даже более. С другой — все больше заказчиков осознают, что повышение плотности размещения оборудования и связанное с этим увеличение тепловыделения требуют установки все более дорогостоящих инженерных систем. Поэтому далеко не все заказчики стремятся увеличивать энергетическую плотность до показателей, превышающих 3-5 кВт на стойку.
С учетом вышесказанного журнал «Сети и системы связи» смоделировал следующую ситуацию: некая (вымышленная нами) компания планирует организовать ЦОД, разместив там 60 монтажных стоек с оборудованием (12 рядов по 5 стоек), которое на первом этапе будет выделять по 5 кВт тепла (на стойку). В планах компании — через 3-5 лет заменить основное оборудование (серверы), и тогда, на втором этапе, уровень тепловыделения может возрасти до 30 кВт на стойку.
Именно так: «может возрасти». Сейчас нашей компании важно определиться с тем, какой предел мощности (на стойку) станет для нее экономически оптимален, выше которого затраты на системы охлаждения будут превосходить выгоды от повышения плотности оборудования. Участники нашего обзора (а мы обратились ко всем ведущим игрокам рынка) должны были предложить техническое решение для первого и второго этапов (для второго — в соответствии с выбранным (оптимальным) уровнем мощности). Кроме того, им важно было показать потенциальным заказчикам пути перехода от первого этапа ко второму — в частности, указать, возможна ли поддержка максимальной мощности путем масштабирования решения, предложенного для первого этапа, или же потребуется заменить его новым. Анализу предложенных проектов журнал посвящает две статьи: в той, которую вы читаете в настоящее время, мы обсуждаем общие вопросы, а в последующей (она будет опубликована в одном из ближайших номеров) — предполагается описать предложенные технические решения.

ИЩЕМ ОПТИМАЛЬНЫЙ МАКСИМУМ

По мнению Петра Ронжина, директора компании «ВентСпецСтрой», наметившиеся в последнее время два пути решения задачи теплоотвода в ЦОДах длительное время будут развиваться параллельно друг другу. Построенные на базе новых технических решений системы охлаждения оборудования высокой плотности применяются и будут применяться в случае, когда возникает необходимость повысить мощность уже имеющегося ЦОДа без увеличения площадей или когда заказчику требуется построить мощный и компактный ЦОД с уже известной нагрузкой. Однако расходы на дорогостоящие системы отвода тепла часто перекрывают экономию по площадям, поэтому далеко не все компании стремятся увеличивать энергетическую плотность в своих ЦОДах и строят системы охлаждения по традиционной схеме с применением прецизионных кондиционеров и фальшполов.
«Наши расчеты показывают, что при правильном подходе к проектированию и строительству ЦОДов и с использованием традиционных методов можно обеспечить нормальную работу стоек с нагрузкой 15 кВт и выше, — говорит Петр Ронжин. — Вместе с тем зависимость стоимости систем охлаждения от тепловой нагрузки на стойку при значениях, превышающих 15 кВт на стойку, становится близкой к квадратичной (!)».
Генеральный директор консалтинговой компании «Ди Си квадрат» Александр Мартынюк, советует в качестве оптимального максимума выбрать нагрузку в 12 кВт. «Практика показывает, что если грамотно подходить к использованию энергоэффективных источников и соблюдать элементарные правила эксплуатации ЦОДа, то можно избежать установки дополнительных элементов инженерной инфраструктуры, использование которых обычно негативно отражается на бюджете проекта по модернизации ЦОДа», — считает он. В частности, г-н Мартынюк настоятельно рекомендует избегать небрежности при укладке плиток фальшпола после регламентных работ в подпольном пространстве (достаточно поменять местами перфорированную и монолитную плитки, и направление потоков холодного воздуха будет нарушено), а также обращать внимание на направление решеток перфорации, если оно задано. По его мнению, хорошо зарекомендовала себя установка стоек с высокой энергонагрузкой (с предварительным выбором оптимального места) в одном ряду со стойками, энергона-груженность которых не превышает 5 кВт.
«Если рассматривать одну стоящую отдельно стойку с оборудованием со своей индивидуальной климатической системой, то мощность размещаемого в ней оборудования может достигать 20-25 кВт, однако в реальности все сложнее: индивидуальное размещение шкафов не применяется из-за постоянного дефицита площади в ЦОДе и дороговизны решения, а поставить в один ряд стойки по 5 и по 20 кВт чревато перегревом одних и переохлаждением других», — говорит Владимир Осипов, руководитель подразделения систем вентиляции и кондиционирования компании «Крок». Эксперты последней считают, что при стандартном размещении стоек «в ряд» лучше не превышать уровень энергетической нагрузки в 12-15 кВт (на стойку) и следует стараться размещать стойки однородно: это поможет охлаждать их равномерно.
«Исходя из стоимости помещений, инженерной инфраструктуры и расхода электроэнергии, считаю, что оптимальным является предел, равный 10-12 кВт на стойку, — высказывает свое мнение Алексей Карпинский, директор департамента инженерных систем компании «Би-Эй-Си». — Далее увеличивать удельную мощность стойки пока экономически не целесообразно. Как исключение можно представить себе такой вариант: заказчик стеснен в размерах помещения, но нужно разместить больше оборудования и с энергообеспечением нет проблем. Однако такая ситуация случается крайне редко».
Эксперты компании «Черус» определяют три уровня максимальной мощности, каждый из которых может оказаться экономически оптимальным в зависимости от специфики решаемых заказчиком задач:
• Приблизительно до 5 кВт на стойку. Применяются кондиционеры высокой производительности, смонтированные для работы по схеме холодных и горячих проходов.
• От 5 до 15 кВт на стойку. Используются кондиционеры высокой производительности, а также средства дополнительного охлаждения.
• До 25 кВт на стойку. Применяются системы охлаждения стоек с замкнутым циклом.
Они посчитали скачок мощности с 5 до 30 кВт слишком большим и поэтому предложили нашему заказчику решение, которое обеспечит масштабирование ЦОДа с 5 до 25 кВт на стойку. Надо полагать, что 25 кВт и есть, по их мнению, оптимальный максимум в нашей ситуации.

ВСЕ ВЫШЕ, ВЫШЕ И ВЫШЕ

Порадовал нашего заказчика ответ компании Emerson. И не столько тем, что в качестве оптимального максимума ее специалисты рассчитали как раз указанный в запросе уровень мощности, равный 30 кВт, сколько основательностью проработки. Помимо детального описания решений для обоих этапов, в техническом предложении Emerson приведены основные документы и инструкции, на основании которых оно разработано, освещены вопросы, связанные с электроснабжением, противопожарными мероприятиями, системой диспетчеризации/мониторинга и т. д. Что интересно: в отличие от большинства других участников проекта компания Emerson предложила решение, позволяющее снимать по 30 кВт тепла с каждой стойки без ввода воды в основное помещение ЦОДа.
Тот же предел мощности — 30-35 кВт на стойку — указывает и Владимир Левин, директор по продажам московского офиса компании «Хоссер». При этом он отмечает, что при нагрузке в 35 кВт происходит снижение влажности, а поскольку в настоящее время на рынке представлено серверное оборудование, для работы которого требуется уровень относительной влажности выше 20-30%, то лучше ограничиться уровнем мощности в 30 кВт.
Эксперты компании АРС уверены, что сумеют предложить экономически эффективное решение и для куда более высокоплотных сред. «На сегодня мы имеем практический опыт эксплуатации систем с плотностью мощности до 45 кВт на стойку, причем начальная стоимость системы практически одинакова со стоимостью классической (фалынпольной) системы, рассчитанной на тот же номинал, а при росте плотности мощности на стойку удельные расходы электроэнергии на ее охлаждение снижаются», — говорит Михаил Балкаров. Более того, в АРС нам сообщили об устойчивой работе в лабораториях систем с экспериментальной нагрузкой до 70 кВт на стойку, но пока реализовать их на серийном серверном оборудовании невозможно. Заслуживает внимания тот факт, что системы с рекордными характеристиками собираются на основе тех же самых стандартных стоек и кондиционеров непосредственно на месте. В них просто добавляются средства, обеспечивающие контейнеризацию потоков холодного и горячего воздуха.
«На мой взгляд, слишком сложно оперировать такими понятиями, как "выгода от повышения плотности оборудования", поскольку плотность повышают, как правило, не от хорошей жизни, а из-за нехватки свободного места в ЦОДе, — считает Александр Аносов, начальник отдела инженерных систем компании «Открытые Технологии». — Если вам нужно разместить дополнительные вычислительные мощности и этого нельзя достигнуть увеличением числа единиц серверного оборудования, а можно только за счет установки более мощных (соответственно выделяющих больше тепла) серверов или перехода на блейд-системы, то выгоды от повышения плотности начинают носить весьма субъективный характер. Не увеличите плотность — не обслужите дополнительное количество пользователей и в результате недополучите прибыль. В данный момент подавляющее большинство заказчиков ориентируются на технологический максимум того, сколько тепла сейчас можно отвести от стойки с помощью промышленно выпускаемых решений, зачастую самостоятельно определяя для себя разумную границу отношения стоимости к энергонагрузке на стойку».

ВОЗМОЖНЫЕ СЦЕНАРИИ РАЗВИТИЯ

Безусловно, в поставленной нами задаче указаны далеко не все данные, важные для подготовки проекта ЦОДа. По мнению Александра Мартынюка, чтобы решить ее, исполнителю проекта потребуется дополнительная информация — в частности, по необходимому уровню отказоустойчивости ИТ-систем и инженерного оборудования — от этого зависят и параметры площадки, и эксплуатационные характеристики ЦОДа. Существует как минимум, четыре сценария развития событий, которые напрямую зависят как от сегодняшних бизнес-задач компании, так и от ее стратегических целей на ближайшие 3-5 лет. Вот как Александр Мартынюк описывает сценарии развития проектов ЦОДа для двух типов компаний.
«Молодой» (start-up) компании, которой необходимо как можно скорее войти в рынок, используя ресурсы ИТ-системы в качестве основного инструмента, имеет смысл оперативно подобрать и оснастить площадку с учетом параметров серверного зала, позволяющего разместить заданное число стоек, и некоего запаса площади — для наращивания числа стоек в период эксплуатации ЦОДа и возможной доустановки локальных систем охлаждения, а также для организации обводных коридоров (в которых будут устанавливаться элементы системы жизнеобеспечения ЦОДа) и помещения для персонала. Проектирование и оснащение данной площадки следует выполнять с расчетом на то, что через три года неизбежно встанет вопрос о целесообразности строительства другого ЦОДа, который сможет принять на себя функции основного центра. Это будет абсолютно новый проект: не исключено, что к тому времени изменится и сама компания, и ее бизнес-среда, и ее представления о «правильных» ИТ, необходимых для достижения и удержания конкурентоспособного уровня. Когда этот — новый — проект будет завершен, нынешняя площадка, скорее всего, изменит свой статус и значимость — скажем, будет использоваться в качестве резервного ЦОДа или коммерческого ресурса.
Другое дело, когда речь идет о компании, которая за годы работы на рынке накопила базис, позволяющий ей проанализировать динамику своего развития и спрогнозировать свои задачи и ИТ-потребности на перспективу, и при этом она располагает достаточным временем и ресурсами для проектирования и создания ЦОДа с 5-10-летним сроком эксплуатации. В этом случае ей следует определить типы и число устройств, которые могут быть установлены в серверной на разных этапах эксплуатации ЦОДа. Лучше, если к данной работе будут привлечены представители фирм-производителей, а также независимые специалисты, обладающие необходимыми знаниями и опытом в области управления проектами такого уровня сложности и ресурсоемкое™. При любых обстоятельствах обязательным условием проработки требований к проекту является привлечение всех заинтересованных подразделений компании: ИТ-отдела, энергетиков, финансистов, сотрудников службы эксплуатации и администратора, курирующего вопросы аренды.
По мнению Андрея Павлова генерального директора компании «Датадом», помимо характеристик инженерных систем, необходимо анализировать ту модель бизнеса, которую хочет реализовать заказчик с использованием своего ЦОДа. Например, при использовании блейд-технологии становится выгодной модель продажи таких услуг, как сдача в аренду физических серверов. Дело в том, что, по оценкам экспертов «Датадома», при равных капитальных вложениях в строительство ЦОДа на 1000 серверов 1U, расположенных в стойках 5 кВт, и 1000 блейд-серве-ров в стойках 30 кВт, расходы на эксплуатацию второго ЦОДа будут на 15-20% меньше.
Также Андрей Павлов считает, что указанное в нашем задании время до модернизации ЦОДа очень большой срок по сегодняшним темпам развития техники. Через 5 лет принятая сегодня структура ЦОДов изменится настолько, что при замене основного оборудования придется перестраивать серверную целиком, особенно если сейчас ее запроектировать под «обычные» серверы. «Поэтому при наличии серьезных планов по замене оборудования на ближайшие 2-3 года имеет смысл думать о закладке избыточной структуры под развитие, в противном случае я бы не рекомендовал такое решение, поскольку считаю его пустой тратой денег, — говорит он. — Через 5 лет может измениться сам принцип охлаждения серверного оборудования, вплоть до смены хла-доносителя — например, вместо фреона, воды или гликоля будет применяться некий новый сжиженный газ, для которого потребуется совершенно другая система трубной разводки».
«Через 5 лет энергосистема ЦОДа потребует практически полной модернизации, поэтому вкладывать деньги в инфраструктуру, которая понадобится через пять лет, неразумно, — говорит Алексей Карпинский, директор департамента инженерных систем компании «Би-Эй-Си». — Наши рекомендации — строить ЦОД исходя из текущих потребностей, а затем проводить полную модернизацию. Сейчас вы потратите деньги на проверенные технологии, а через 5 лет новые технологии будут стоить в разы дешевле». Специалист компании «Би-Эй-Си» называет вполне вероятным то, что развитие систем энергоснабжения ЦОДа пойдет совершенно другим путем — не в сторону повышения мощности, а в направлении его качественного изменения. Он имеет в виду переход от систем переменного тока к системам постоянного тока. Как известно, основные преобразования электричества в тепло происходят на блоках питания оборудования, потери же в этих блоках можно избежать, перейдя на системы электропитания постоянного тока, что позволит «убрать» колоссальное количество тепла из ЦОДа.

БЕЗ ВОДЫ НИКУДА?

Большинство компаний для снятия со стойки 30 кВт предложили использовать воду. Константин Зиновьев, ведущий эксперт отдела кабельных систем IBS, считает, что нынешние тенденции развития вычислительного оборудования делают переход на водяное охлаждение фактически неизбежным. Сам по себе переход с воздушного охлаждения на водяное — мероприятие очень затратное (в среднем система с водяным охлаждением дороже воздушной в два раза), но при дальнейшем увеличении удельной мощности стоек система с водяным охлаждением становится выгоднее: каждый киловатт холодоснаб-жения будет стоить дешевле.
Эксперт компании IBS отмечает следующие плюсы водяного охлаждения:
• экономия места в ЦОДе и на территории заказчика в целом;
• экономия электроэнергии за счет режима фрику-линга (в случае интеграции с инженерными системами здания можно отдавать избыточное тепло на его нужды);
• упрощенное обеспечение бесперебойного кондиционирования за счет установки накопительных баков и подключения водяных насосов и вентиляторов кондиционеров к ИБП;
• практически неограниченная протяженность трубопроводов системы холодоснабжения.
Специалисты компании «Комплит» добавляют к этому, что использование воды обеспечивает системам охлаждения наивысший КПД (вода — лучший проводник тепла). Кроме того, если выйдет из строя какой-нибудь узел системы, насосы продолжат подавать воду по контуру, в результате охлаждение будет обеспечиваться, пока вода полностью не нагреется, а этого времени может хватить для устранения неполадки. К минусам водяного охлаждения они относят то, что система требует больших капиталовложений и времени для проведения подготовительных и пусконаладочных работ. Так, стоимость подготовительных работ для организации в ЦОДе системы охлаждения на воде, включая все строительно-монтажные работы, зачастую сравнима с затратами на саму систему охлаждения.

ВСЕГДА ЛИ НУЖЕН ФАЛЬШПОЛ

Почти все эксперты однозначно высказались за необходимость наличия фальшпола. Вот что, например, по этому поводу говорит Владимир Осипов, руководитель подразделения систем вентиляции и кондиционирования компании «Крок»: «Фальшпол становится необходимой составляющей для серверных комнат. Если же помещение имеет громкое имя "ЦОД", то фальшпол должен присутствовать обязательно. Являясь важной инженерной системой, он выполняет две основные функции: под ними размещаются коммуникации и происходит распределение охлаждающего воздуха».
Высота фальшпола должна быть не менее 60 см, а по возможности и больше, считает Александр Мартынюк. «Практика показывает, что на протяжении периода эксплуатации ЦОДа довольно часто возникает необходимость прокладывать дополнительные кабели (например, в случае установки в помещении локальных систем отвода тепла или при "уплотнении" отдельных стоек блейд-серверами), и если они будут нарушать траекторию движения холодного воздуха в подпольном пространстве, то перегрев оборудования в центральных стойках практически неминуем», — предупреждает он.