Холодоснабжение, кондиционирование воздуха
Coolling and air conditioning
  Энергосберегающее климатическое оборудование для объектов связи
Telecom free cooling air conditioning
 
Статьи

Климат в ЦОД: диагностика, управление оптимизация

Петр РОНЖИН,
директор ООО «ВентСпецСтрой                                                                   

Александр МАРТЫНЮК,

генеральный директор ООО «Ди Си квадрат»

          Вопрос оптимизации затрат на охлаждение оборудования в серверном зале рано или поздно встает перед каждой организацией, заинтересованной в максимально долгом и продуктивном использовании ресурсов ЦОД (центра обработки данных, дата-центра). Как подойти к решению этой задачи?

      Логично предположить, что первые шаги к постоянному поддержанию благоприятного климата в серверной лучше делать уже на этапе проектирования ЦОД. Однако на практике подобные намерения вряд ли возможно реализовать со 100%-ной эффективностью, так как на момент ввода в эксплуатацию ЦОД весьма трудно предположить, какие ИКТ-системы будут размещаться в нем по прошествии двух и более лет. Развитие ИКТ-рынка идет столь стремительными темпами, что дата-центр морально устаревает фактически к моменту окончания проекта его создания или в течение ближайших нескольких лет с момента
запуска. А к моменту окончания жизненного цикла ЦОД в нем может насчитываться ИКТ-обо-рудование, принадлежащее к де-сяти-пятнадцати поколениям.
За примером далеко ходить не надо - большинство дата-центров телекоммуникационных компаний были созданы в ту пору, когда номинальная нагрузка на одну стойку не превышала 1,5 кВт, тогда как сегодня уже мало кого удивишь планами по наполнению серверного зала 10-15 киловаттными стойками, укомплектованными блейд-сис-темами и аналогичными им по энергонагруженности моноблочными программно-аппаратными комплексами (по данным исследований HP один блейдсервер генерирует температуру вдвое большую, чем юнитовое устройство).
Но ведь для того, чтобы обеспечить рекомендованные параметры воздуха в серверной (согласно международному стандарту TIA 942 это температура в середине холодного коридора на высоте 1,5 м от пола 20-25 °С и относительная влажность 40-55%), для каждого из этих вариантов необходимо использовать принципиально разные технические решения - пропорциональное увеличение объема нагнетаемого воздуха (в нашем примере 10-кратное) не станет решением проблемы. Не стоит рассчитывать и на какую-либо матрицу, на основании которой можно было бы выявить арифметическую зависимость температуры в ЦОД от параметров стоек и помещения - такой таблицы нет и быть не может в виду индивидуального комплекса факторов, влияющих на климатические параметры ЦОД. Так, например, технические решения по климатическим системам для одного и того же ИКТ-обору-дования, расположенного в серверной 1000 кв. м и в серверной 1300 кв. м могут быть абсолютно разными, так как они будут существенно отличаться. Нужно учитывать совокупность факторов, сложение которых дает переход от количества к другому качеству и наоборот.

               Подходы к оптимизации технических решений по поддержанию климата в действующем ЦОД.

Если уж сложилось так, что отсутствие свободных площадей либо непредвиденный наплыв клиентов вынуждает оператора связи нарастить число или энер-гонагруженность стоек в ЦОД, то имеет смысл подойти к решению этой задачи профессионально. Лучше с привлечением опытных практиков, специализирующихся в данной предметной области и знакомых с примерами разрешения аналогичных проблем в России и за рубежом. Для начала следует принять во внимание, что использование блейд-серверов, генерирующих тепловую нагрузку 14-25 кВт на шкаф, дает выше 3229 Вт тепла на 1 кв. м дата-центра. Между тем, по данным HP, основанным на исследовании 19 дата-центров, средняя величина плотности, характерная для 2005 г., на порядок меньше (344 Вт/ кв. м).
В ряде случаев в качестве эффективного инструмента диагностики можно использовать программные продукты, демонстрирующие модель распределения воздушных потоков и температур. В международной практике этот класс решений представлен разными вендорами, работающими на рынке ЦОД. Одним из наиболее интересных из них является разработка TileFlow, которая с успехом используется HP и другими компаниями при выявлении лучших методов организации воздушного охлаждения в высокопроизводительных дата-центрах Intel.
Так, в частности, используя гидрогазодинамическое моделирование поперечного сечения дата-центра с фальшполом, специалистам HP удалось выяснить, что часть энергии, предназначенной для охлаждения стоек     в действующих ЦОД, тратится впустую - температура воздуха, приходящегося на верхние серверы, составляла более 26,7 град. Причина в том, что холодный воздух, который подается из-под фальшпола на фронтальную сторону стойки, на уровне верхних серверов смешивается с потоком горячего воздуха, выходящего со стоек (рис. 1). В других точках температура воздуха была гораздо ниже ожидаемой, что свидетельствовало о том, что холодный воздух циркулирует в этой зоне в обход оборудования.
Последующие эксперименты, проведенные с применением упомянутого ПО, визуально отражающего результаты моделирования воздушных потоков, подтвердили неэффективность таких мер, как понижение температуры приточного воздуха (оно отрицательно сказывалось на эффективности охлаждения), увеличение количества приточного воздуха в холодном коридоре с целью вытеснения горяче
го воздуха (приводило к еще более сильному завихрению горячих потоков в зону охлаждения), создание широких холодных коридоров для замедления скорости приточного воздуха...
Зато оптимистичными оказались результаты мониторинга следующих мер: набор горячего воздуха в пространство над подвесным потолком, использование ограждений, изолирующих холодные и горячие коридоры друг от друга, перемещение лотков с телекоммуникационными и силовыми кабелями из зоны холодных коридоров в пространство под сплошными плитками фальшпола, размещение рядов стоек строго по направлению движения потоков холодного/горячего воздуха.

  Обзор последнего поколения предложений от лидеров рынка комплексных инфраструктурных решений для ЦОД (АРС, Emerson, Rittal) показывает, что к аналогичному выводу пришли не только сотрудники HP, а значит, любой проект оптимизации климатических систем в дата-центре следует начинать с соблюдения проверенных временем методик управления воздушными потоками.
Несмотря на то, что об этих элементарных приемах говорят и пишут давно и много, мы считаем необходимым еще раз обратить внимание читателей журнала Connect! на них. Хотя бы потому, что не раз привлекались к экстренному аудиту ЦОД операторов связи и были непосредственными свидетелями того, насколько негативно отражается на бизнес-показателях телеком-компаний пренебрежение этими рекомендациями, в то время как их соблюдение позволяет существенно расширить возможности дата-центра, избежав внушительных затрат на приобретение, монтаж и энергоснабжение дополнительных элементов системы кондиционирования.
И еще один важный момент - систему программного моделирования воздушных потоков не стоит рассматривать как обязательный компонент вашего ЦОД. Это не более чем диагностический инструмент, который может быть эффективно использован профессионалом, а в руках дилетанта утрачивает свою практическую ценность. Ведь важно не просто выявить точки локального перегрева оборудования, а просчитать оптимальные и низкозатратные пути устранения проблемы. Для этого, как уже было сказано, следует принять во внимание габариты серверной, высоту и тип фальшпола и подвесного потолка (если они есть), параметры опорных конструкций, показатели стоек и оборудования, установленного в них. Возможно, решением проблемы станет всего лишь возврат в правильное положение перфорированных плиток, которые были временно извлечены в процессе проведения регламентных работ. Не исключено также, что вам порекомендуют изменить порядок размещения высоконагруженных систем и юнитовых устройств в стойках. Вариантов масса, а времени и лишних денег на эксперименты, приобретение и освоение дорогостоящей системы мониторинга обычно нет.
Практика показывает, что использование решений по программному моделированию воздушных потоков наиболее оправдано для проблемных ЦОДов, которые уже построены неправильно. Вот там, для того чтобы убедить хозяина, что холод, вырабатываемый кондиционерами, просто не может дойти до оборудования, потому что высота фальшпола маловата и т. п., неплохо будет показать модель воздушных потоков.

Подходы к оптимизации системы обеспечения климата в проектируемом ЦОД

Отдав должное рассмотрению путей оптимизации климата в действующих ЦОД, самое время перейти к вопросам, касающимся проектирования дата-центров нового поколения. Начнем с того, что, по оценкам экспертов, стоимость системы кондиционирования составляет не менее 40% затрат на строительство ЦОД уровня надежности TIER III и выше площадью от 1 до 2 тыс кследует помнить, что ее конфигурация оказывает большое влияние на уровень требований к системе энергоснабжения и, соответственно, на ее стоимость. Поэтому не стоит стремиться к безоглядному использованию решений: а) которые еще не проверены временем и б) в отношении которых нет четкого понимания, что они будут использованы. Но зато весьма полезно помнить о том, что современная система кондиционирования - это не столько определенное количество чиллеров, внутренних блоков, насосов прецизионных кондиционеров, вентиляторов и других устройств, соответствующих требованиям T3, сколько продуманная концепция, сочетающая в себе преимущества классических методов управления воздушными потоками и эксплуатационных параметров соответствующего ситуации инженерного оборудования. Сегодня при расчете системы кондиционирования специалисты учитывают эксплуатационные параметры и стоимость холодильных машин, кондиционеров, фальшпола, подвесного потолка, дополнительных систем. Мы возьмем на себя смелость утверждать, что стоимость климатических систем в большой степени зависит от конфигурации серверного зала, поэтому на этапе проработки концепции дата-центра необходимо производить оптимизацию серверных помещений. При этом принимаются во внимание все конструктивные особенности помещения серверной (длина, ширина, высота, расположение колонн, проходов, тамбуров и шлюзов) и стоек, которые в нем будут установлены, а также доступная заказчику мощность.
Важно понимать, насколько высока вероятность появления в ЦОД стоек и моноблочных систем, энергонагруженность которых будет превышать номинальный показатель. В данном случае нужно определить оптимальное место расположения таких систем и предусмотреть все «грязные» работы, которые необходимо провести на этапе подготовки помещения серверной. Если же сделать такой прогноз по каким-либо причинам не представляется возможным, то имеет смысл выработать свод ограничений и рекомендуемую мощность воздушного охлаждения, на которые следует ориентироваться впоследствии при покупке новых поколений ИКТ-систем и разработке альтернативных методов охлаждения. В этом плане очень полезно будет пообщаться с представителями штаб-квартиры вендоров, чьи устройства стали корпоративным стандартом де-факто. Наш опыт показывает, что они охотно дают рекомендации по своим решениям, находящимся в стадии проектирования и лабораторного тестирования.
Особое внимание следует уделить вопросам, связанным с последовательным наращиванием системы кондиционирования, а также с резервированием ее элементов в соответствии с требованиями к заявленному уровню надежности ЦОД. Заказчики и проектировщики зачастую «экономят» на покупке резервных элементов, а это чревато тем, что в случае выхода из строя, скажем, чиллера, ЦОД мгновенно превращается в одну большую печку. При проектировании отказоустойчивых дата-центров необходимо четко следовать рекомендациям стандарта TIA 942, предписывающего устанавливать количество чиллеров, охладителей, кондиционеров, насосов и т. п., достаточное для поддержания климата при аварийном отключении какого-то элемента системы (уровень резервирования не ниже N+1).

Комментарий специалиста Константин СПИРОВ,
директор по продажам HTS

Подходя к вопросу организации комплексной системы кондиционирования для помещения ЦОД крайне важно сначала собрать всю необходимую информацию об оборудовании. В первую очередь необходимо зафиксировать технические условия эксплуатации, а также дополнительные теплопритоки извне, обусловленные осо
бенностями помещения. Для этого нужно четко знать площадь, высоту помещения, собрать все данные о внешних ограждениях, соседних помещениях, световых проемах, а также уточнить наличие рабочих мест в помещении и другие важные параметры. И только после этого можно качественно разработать наиболее энергетически эффективный и предпочтительный по конфигурации вариант системы кондиционирования.
В случае размещения в стойке больших мощностей (свыше 6-7 кВт) целесообразно использовать стойки с водяным охлаждением. При этом методе охлаждения площадь помещения будет иметь минимальное значение - расчет параметров системы кондиционирования будет происходить по количеству тепла, снимаемого с одной стойки. Исходя из этого, рассчитывается, в том числе, мощность чиллеров, а также параметры всей гидравлической системы. При расчете крайне важно понимать, что максимальную мощность ЦОДа нужно определить еще на начальном этапе проектирования, учитывая возможность дальнейшего масштабирования. Резервирование системы - еще один важный вопрос, мы рекомендуем своим заказчикам увеличивать количество резервного оборудования в больших системах, в которых работает более 10 единиц вычислительной техники.
Говоря об опыте HTS, я бы отметил, что на этапе проектирования data-центров нового поколения мы рекомендуем предусматривать «модульность» системы. Например, ЦОД общей мощностью до 5 МВт хорошо охлаждать модулями по 500 кВт, между которыми определена очередность запуска при заполнении каждой серверной. При таком подходе и строить и обслуживать ЦОД будет гораздо проще. Такой подход позволяет минимизировать начальные инвестиции и финансировать строительство ЦОДа после запуска первых очередей, используя средства из доходной части проекта.

Использование программных решений, позволяющих убедиться в эффективности той или иной концепции, предложенной проектировщиками, целесообразно только в том случае, когда заказчик знает, какое ИКТ-оборудование у него будет стоять, какой нагрузкой будут характеризоваться стойки. Имеют значение и количество стоек в ряду, и протяженность холодного коридора, сказывающаяся на расходе воздуха и площади серверного зала. На конфигурацию системы кондиционирования существенное влияние также оказывает опыт эксплуатации заказчиком решений того или иного вендора. Без этой информации моделирование - не более чем дорогая игрушка.
О перспективах
Что касается тенденций в области концептуального планирования корпоративных дата-центров, то, мы полагаем, будущее - за зонированными ЦОД, организованными по принципу сосредоточения в одном помещении устройств и решений, выполняющих схожие функции. По нашему мнению, ЦОД будущего станет похожим на большой территориально распределенный компьютер, для каждого сегмента которого можно выстроить оптимальную модель кондиционирования и энергоснабжения. Данный подход имеет хорошие перспективы с точки зрения снижения стоимости владения ЦОД, особенно ЦОД операторов связи.
В последние годы на международном рынке ЦОД прослеживается тенденция к поиску энергосберегающих методов управления климатом в ЦОД. Об этом свидетельствуют и спрос на упомянутые системы компьютерного моделирования воздушных потоков в работающих ЦОД, и стремление специализированных проектных компаний по максимуму использовать возможности природных ресурсов, и разработки вендоров, уделяющих внимание использованию естественных систем охлаждения. В этом плане интересны решения не только компаний, с которыми привыкли работать телекоммуникационные компании в России (MATRIX от Emerson), но и тех, кто только начинает набирать популярность (к их числу относится итальянская RC Group, предлагающая семейство чиллеров Maximo и GLIDER FREE с функцией естественного охлаждения).

Успехи Citri
во втором квартале

Компания Citrix Systems объявила результаты II квартала 2008 финансового года, завершившегося 30 июня. Доходы Citrix за этот период достигли 392 млн долл. (на 17% больше, чем за II квартал 2007 г.). Чистая прибыль по GAAP за II квартал 2008 г. составила 35 млн долл. (0,18 долл. разводненной прибыли на акцию).
В сравнении со II кварталом 2007 г. доходы от лицензирования продуктов увеличились на 12%, от обновления лицензий - на 16%, от технических услуг, включающих в себя консультирование, образование и техническую поддержку, - на 34%. Онлайн-сервисы продемонстрировали рост на 23%. Увеличение дохода в регионах составило: ЕМЕА - 22%, Тихоокеанском - 11%, Американском - 13%.
В течение II квартала 2008 г. компания Citrix объявила о следующих производственных и партнерских достижениях: начались поставки Citrix XenDesktop 2.0; выпущен Citrix NetScaler МРХ, снижающий стоимость ЦОД; выпущен Citrix Access Gateway, добавляющий в Citrix XenDesktop интеллектуальную систему управления; Citrix XenServer начал устанавливаться на серверы Dell PowerEdge; запущена новая модель ценообразования на Citrix XenServer. Кроме того, в отчетном периоде Citrix была отмечена корпорацией Microsoft званием «Партнер года» в номинациях «Независимый вендор ПО» и «Гражданское партнерство года». В III квартале 2008 г., который закончится 30 сентября, руководство компании Citrix планирует получить чистую прибыль в диапазоне от 385 до 400 млн долл. Ожидается, что по итогам 2008 финансового года чистая прибыль компании Citrix составит от 1,59 до 1,62 млрд долл.

Сеть, растущая вместе
с бизнесом

Концерн «Гудвин» расширил ранее развернутую на Климовском трубном заводе (КТЗ) систему микросотовой связи «Гудвин Бородино». Наращивание системы проводилось в связи с развитием производственных мощностей КТЗ, крупнейшего в Европе предприятия по выпуску полиэтиленовых труб.
Беспроводная сеть, развернутая в 2006 г. на базе DECT-системы «Гудвин Бородино», охватывает все производственные, административные, складские помещения и открытые площадки предприятия. В связи с вводом в 2007-2008 гг. новых производственных и складских площадей заводу потребовалось расширить зону радиопокрытия системы и абонентскую базу. Модульная архитектура системы позволила в короткие сроки осуществить наращивание сети в процессе эксплуатации. После запуска дополнительных модулей системы «Гудвин Бородино» общая зона радиопокрытия составит более 20 га. Ядро системы - контроллер базовых станций DECT -расположен в серверной и подключен к УАТС по потоку Е1. Около 30 базовых станций образуют микросотовую сеть, обеспечивающую непрерывное соединение при перемещении абонента. Управление и техобслуживание системы осуществляются оператором через локальную сеть передачи данных.
Внедрение системы беспроводной связи стандарта DECT «Гудвин Бородино» позволяет предприятию не только эффективно управлять бизнес-процессами, но и экономить эксплуатационные и человеческие ресурсы. В планах КТЗ - дальнейшее расширение сети беспроводной связи по мере развития предприятия.
www.ge.goodwin.ru