Как повысить энергоэффективноcть ЦОДа?
TADетали

Какой ЦОД можно назвать энергоэффективным

Энергоэффективность ЦОДа принято описывать показателем PUE (Power Usage Effectiveness – эффективность использования энергии). Высчитать его не сложно: надо лишь разделить энергопотребности ИТ-инфраструктуры ко всей энергии, поступающей в ЦОД. В идеальном случае показатель будет равен единице.

Однако эксперты в последние годы указывают на несовершенство этого показателя. Непонятно, какой PUE имеется в виду — пиковое значение или среднегодовое, каковы методы его измерения, как учесть постепенное заполнение объекта, качество управления эксплуатацией, вопросы взаимоотношения с поставщиком ресурсов (выбор мощности в соответствии с проектными значениями, эффективное использование питающих сетей, опора на сетевые ресурсы или локальную генерацию), какова ситуация с управлением парком ИТ-оборудования, нет ли в его составе устаревшей, простаивающей или работающей вхолостую аппаратуры? На все эти вопросы одна цифра ответить не в состоянии.

«Более того, коэффициент может демонстрировать обратный результат, — рассказывает системный архитектор подразделения ИТ Division компании Schneider Electric Илья Царев. — На 100% загруженный модуль ЦОДа, половина оборудования в котором неэффективно «греет воздух», реально фактически не обслуживая бизнес-задачи владельца данной площадки, будет иметь лучшее мгновенное значение PUE, чем соседний модуль, загруженный на 50%, но имеющий в своем составе только эффективно используемое ИТ-оборудование».

Поэтому эксперты предлагают смотреть на проблему широко и рассматривать целый комплекс вопросов, исходя из которых можно судить об энергоэффективности. Важно эксплуатировать только нужное здесь и сейчас оборудование, оперативно отключая или даже выводя из эксплуатации все лишнее — как в ИТ, так и в инженерной части ЦОДа.

Кроме того, необходимо эффективное управление инженерной инфраструктурой ЦОДа, со своевременным переходом на оптимальные режимы эксплуатации систем электро- и холодоснабжения в соответствии с изменением как внутренних условий дата-центра (загрузка), так и внешних (климат, изменение тарифов и условий конкурирующих поставщиков ресурсов).

Другой вопрос — поддержание в машинных залах ЦОДа порядка и оптимальных условий для воздушных потоков, отсутствие утечек, потерь холода. Конечно, важны учет и контроль использования места в машинном зале, а также энергоресурсов.

Как обеспечить высокую надежность электропитания на этапе проектирования и строительства дата-центра

Еще на этапе планирования важно не промахнуться с выбором площадки с хорошей доступностью электроэнергии. Место с хроническим энергодефицитом и систематическими отключениями питания будет ошибкой.

«Для важных и крупных ЦОДов лучше найти возможность подключения по одному лучу питания непосредственно к распределительной подстанции крупного объекта генерации, по крайней мере к разным подстанциям, — советует Илья Царев. — Где это оправдано масштабом и экономикой объекта, следует искать возможности подключения к сетям высокого напряжения (110/220 кВ), минуя местные сети среднего и низкого напряжения. Для дата-центров высокого уровня ответственности должна быть спланирована и построена собственная генерация (дизельная или газовая электростанция)».

При проектировании важно помнить о вопросах стоимости и доступности энергоресурсов, климате района строительства (в том числе — микроклимате непосредственно на площадке), конструкции и материалах здания ЦОДа, энергоэффективности отдельных компонентов его систем, и, в особенности, о верном подборе количества и мощности его очередей (модулей).

Эксперты отмечают, что современные флагманские продукты ведущих вендоров источников бесперебойного питания (ИБП) для ЦОД кроме высоких показателей надежности, как правило, имеют очень хорошие показатели энергоэффективности. Плюс — возможность гибкого выбора режимов в диапазоне «максимальная надежность — максимальная энергоэффективность».

«Например, ИБП Schneider Electric Galaxy VX, помимо привычных многим режима двойного преобразования электроэнергии и режима ECOmode, имеет инновационный режим ECOnversion, сочетающий надежность и непрерывность питания первого с энергоэффективностью второго режимов. Изначально ориентируясь на подобную технику можно обеспечить как надежность питания, так и сокращение издержек на потери и отвод паразитного тепла от систем электроснабжения», — говорит Илья Царев.

На этапе строительства не следует забывать о качестве материалов и монтажных работ. Негерметичный объем машзала, кроме очевидных проблем в части пожарной безопасности, будет терять свой дорогой холод. Ошибки в прокладке коммуникаций или монтаже запорно-регулирующей аппаратуры приведет к неоптимальной работе насосов и компрессоров систем холодоснабжения. Небрежный монтаж систем распределения питания обеспечит лишние проценты потерь в них.

Какие есть способы повышения энергоэффективности уже эксплуатируемых ЦОДов

Начать стоит с проведения комплексного аудита, который лучше поручить сторонней организации. Подобными вопросами занимаются как экспертные организации, так и ведущие вендоры, например, Schneider Electric. Аудит подразумевает сбор информации о состоянии ЦОДа в целом, его отдельных систем, внедренных практиках и процедурах эксплуатации. По его итогам компания получает детальный отчет о выявленных проблемах и «узких местах».

«Из нашей практики могу вспомнить такие повсеместные проблемы дата-центров заказчиков, ведущие к непроизводительным потерям ресурсов в ЦОДах, как неоптимальные уставки температур в системах холодоснабжения, ошибки при монтаже трубопроводов систем холодоснабжения, небрежный монтаж фальшпола и замусоривание пространства под ним, ошибки в подборе и расстановке вентиляционных панелей фальшпола, бездумное использование пароувлажнителей, использование фильтров на постоянной основе в «чистых» чиллерных системах, частое пренебрежение использованием заглушек и комплектов изоляции воздушных потоков внутри серверных шкафов», — перечисляет Илья Царев.

Основные принципы управления воздушными потоками в дата-центре

Существует несколько базовых параметров, которые необходимо соблюдать для сохранения наибольшей продуктивности и эффективности ЦОДа.

Первый — нельзя смешивать горячие и холодные потоки. Это убивает производительность и эффективность систем холодоснабжения. Подавать холод нужно непосредственно к нагрузке (фальшпол, воздуховоды, рядные кондиционеры), отводить тепло — в изолированный объем непосредственно от нагрузки (шкафы с «трубами», вытяжные двери). Кроме того, стоит разделить «горячие» и «холодные» коридоры, выполнить контейнеризацию по типу CACS/HACS/RACS.

Второй важный момент — поддержание скорости потока близкой к оптимальной. Это обеспечивает исключение эффекта воздушного голодания для стоек, расположенных слишком близко к кондиционеру, а также эффекта подсоса воздуха из машинного зала под фальшпол там же. С другой стороны, как отмечают специалисты, как правило не требуется работа вентиляторов кондиционера на максимальных скоростях вращения.

Третий пункт — выдерживание достаточной производительности систем кондиционирования машинного зала по воздуху. В частности, не должно быть точек перегрева, «голодающих» и обделенных по воздуху стоек из-за соседства, например, с высокоплотной нагрузкой.

«Современными способами решения указанных проблем является применение регулируемых вентиляционных решеток фальшпола, а также так называемого «активного фальшпола», — объясняет Илья Царев. — Последнее средство является оптимальным для залов с динамичной высокоплотной нагрузкой, в связке с кондиционерами зала активно доставляя требуемые объемы воздуха к увеличившим свой расход потребителям, в том числе — в автоматическом режиме, по датчикам давления и температуры. Примером такого решения является активный пол Uniflair от Schneider Electric».

Четвертый важный момент — отсутствие лишних препятствий движению воздуха. Несмотря на очевидность этого пункта, многие создатели ЦОДов повторяют одну и ту же ошибочную схему: охлаждение через фальшпол, коммуникации через фальшпол. Влияние такого решения на энергоэффективность и стоимость создания машзала критично: эффективность хуже, решение дороже.

«Можно предположить, что корни такой ошибки идут от эстетики из области строительства жилых и общественных зданий — все коммуникации должны быть проложены скрытно, — допускает Илья Царев. — Однако ЦОД — не жилой или общественный, а производственный объект, в котором действует другой принцип — все критически важные коммуникации должны быть на виду для оперативного и беспрепятственного контроля их состояния, ремонта и обслуживания».

«Зеленый» ЦОД: выгоден ли экологичный подход

Этот вариант стал весьма популярен и на Западе, и в России. Практически все средние и крупные дата-центры в нашей стране строятся с использованием той или иной разновидности фрикулинга. Также существует естественный тренд движения ЦОДов и «майнинг-отелей» в регионы с признанной «зеленой» гидроэнергией. Делается это, правда, не вследствие заботы об «углеродном следе», а по зову кошелька (к примеру, 2 с небольшим рубля за кВт*ч в богатой крупными ГЭС Иркутской области).

«Любая распространенная на Западе «зеленая» идея, вроде отопления городских кварталов с помощью ЦОДов или погони за платиновым сертификатом LEED, не считаясь с капитальными затратами, станет немедленно популярной в России, как только она будет поддержана таким же кнутом административных ограничений и штрафов, и пряником налоговых льгот и субсидий, как и на Западе. Время бурных восторгов и экспериментов по поводу той или иной «позеленевшей» технологии без экономического базиса в России прошло — в том числе из-за взросления этого сегмента рынка», — объясняет Илья Царев.

В чем особенности в электропитании виртуализированных и облачных сред

Здесь многое зависит от аппаратной базы, на которой построены среды. Эксперты отмечают общий тренд на конвергенцию и гиперконвергенцию аппаратных решений для облачных сред со значительной унификацией и уплотнением в части электропотребления. Ответом на этот тренд, в частности, стало возникновение и развитие Open Compute Project (OCP) — отраслевой ассоциации и системы технических стандартов, оптимизирующих как аппаратные ИТ, так и инженерные решения в интересах гиперконвергентных архитектур для реализации масштабных облачных сред.

«Schneider Electric является активным участником как OCP, так и некоторых конкурирующих и региональных проектов (Open 19, Scorpio). Интересной особенностью таких решений является децентрализация систем бесперебойного питания с уходом преобразователей и батарей на уровень стойки, модульность конструкции аппаратуры питания стойки, возможность активной и оперативной реконфигурации питания по мощности, схеме резервирования и времени автономной работы, — детализирует Илья Царев. — При этом решение рассчитано и на весьма высокоплотные применения, до 25 кВт на стойку. Таким образом, ИТ-инфраструктура может быть масштабирована или реконфигурирована в рекордные сроки с минимальными ограничениями со стороны системы бесперебойного электроснабжения или систем размещения ИТ-оборудования».

Как правильно организовать контроль качества электропитания и теплоотвода

Тут необходим целый комплекс действий. Как организационных, так и технических. Первое — это про внедрение ряда процедур и практик в работу дежурной смены (журналы дежурств, обходы, поверка измерительной аппаратуры и так далее). На техническом уровне потребуется использование профильной аппаратно-программной платформы.

«В качестве примера можно привести платформу EcoStruxure IT от Schneider Electric, — рассказывает Илья Царев. — Она представляет собой оптимизированную для использования в ЦОДе систему мониторинга, диспетчеризации и управления. Благодаря широкому набору датчиков, контроллеров и соответствующих модулей программного обеспечения дежурная смена дата-центра может своевременно получать полную информацию о развитии событий в нем. Возможности системы позволяют, при необходимости, получать информацию о состоянии, температуре, потреблении питания с каждого юнита и с каждого блока розеток. При необходимости детального контроля качества электроэнергии могут применяться как штатные средства — ИБП, так и отдельные специализированные устройства, которые могут быть установлены в любом интересующем месте объекта — как на вводах «от города», так и у особо чувствительного специфического ИТ-оборудования».

Примеры создания энергоэффективных ЦОДов

Одним из наиболее удачных кейсов по «классическим» ЦОДам в Schneider Electric называют работу с компанией «Даталайн» по дата-центру NORD-4 в Москве. Это один из крупнейших коммерческих ЦОДов в России с подтвержденным Uptime Institute Tier III по проекту и площадке.

«Перед нашей компанией была, в частности, поставлена задача разработать систему холодоснабжения ЦОДа с теплоизбытками до 16 МВт, на классическом решении «чиллер-фанкойл», — вспоминает Илья Царев. — При этом необходимо было добиться лучших показателей энергоэффективности системы, чем в среднем на тот момент (2013 год) по рынку, приблизившись к популярным тогда решениям с воздушными экономайзерами и тепловыми колесами. Такая задача была успешно выполнена благодаря ряду технических решений: переходу на отепленный (по сравнению со стандартными решениями на чиллерах) теплоноситель, некоторому увеличению дельты теплоносителя от стандартных значений, оптимизации топологии, диаметров, количества фильтров и запорно-регулирующей аппаратуры на трубопроводной сети системы для уменьшения в конечном счете электропотребления насосных групп, применения энергоэффективных серий фанкойлов и чиллеров с фрикулингом».

Второй системой, проектированием которой занимались специалисты Schneider Electric, была встроенная в здание ЦОДа дизельная электростанция в составе 16 ДГУ большой мощности. Консервативным решением при ее проектировании было использование большого количества отдельных осевых вентиляторов для подачи воздуха к ДГУ на охлаждение и горение. Однако детальный анализ работы систем, расчет воздушных потоков и объема подаваемого воздуха, скрупулезная работа совместно с заказчиком над выбором ДГУ, архитектурой здания и расстановкой оборудования позволили отказаться от отдельных вентиляторов за счет использования полного потенциала вентиляторов самих ДГУ, повысив энергоэффективность решения и снизив капитальные затраты заказчика.

Примером «зеленого» ЦОДа, схема которого остается для отечественного рынка экзотичной, однако имеет интересные перспективы в России, стал небольшой резервный ЦОД греческого провайдера Lamda Helix, построенный на реке Лоурос в Греции.

«Теплоотвод обеспечивается с помощью речной воды из горной реки, температура которой слабо меняется в течение года. Вода забирается насосами из реки, подается в теплообменник вода-вода, где происходит отбор лишнего тепла из внутреннего контура ЦОДа. В качестве резервной системы имеется моноблочный чиллер с воздушным охлаждением. Таким образом, практически круглый год система работает без использования компрессоров чиллерных систем. Часть проблем с постоянством речной среды решена за счет того, что водозабор ЦОД размещен за плотиной малой ГЭС», — рассказывает Илья Царев.

Эксперты считают, что с учетом наличия в России огромного количества рек и небольших ГЭС, а также транспортных и производственных предприятий с оборудованными выходами к рекам, подобные проекты могут стать популярными и в нашей стране.