Инженерная инфраструктура ЦОД

Объем данных, хранимых в ЦОДах всего мира, по оценкам портала Statista, за период 2016 - 2019 гг. вырос втрое. Пропорционально растут масштабы вычислительных мощностей, требуемых для их обработки, что непосредственно сказывается на облике Data-центра: увеличивается, как уровень нагрузки, приходящейся на стойку, так и плотность размещения стоек, изменяется стоимость ресурсов ЦОД и возможности подключения к источникам данных.

Если 10 лет назад типичной мощностью на одну серверную стойку было 4 - 5 кВт, то сейчас средним становится показатель 10 кВт, а пиковые показатели могут достигать 20 - 40 кВт,- отмечает Олег Любимов, генеральный директор Selectel.- Это обусловлено торможением прогресса в полупроводниках, из-за которого дальнейшее увеличение вычислительной мощности оборудования теперь идет за счет увеличения площади и энергопотребления процессоров, а не улучшения их техпроцесса и повышения их эффективности, а также все более частым использованием GPU-вычислений, особенно для ML-задач.

Согласно данным профильной организации Uptime Institute, опубликованным в апреле 2019 г., потребление электроэнергии только серверами в ЦОДах по всему миру превысит 140 ГВт к 2023 г., а с инженерными системами - более 200 ГВт. Для сравнения общая установленная мощность электростанций ЕЭС России составила на конец 2019 г. 246,3 ГВт, согласно официальному отчету о функционировании ЕЭС России в 2019 г. При этом отмечается, что рост энергопотребления облачных провайдеров примерно в шесть раз превышает рост потребления частных облаков.

По оценкам специалистов компании Eaton, к 2025 году индустрии ЦОД может потребоваться до 20% всей вырабатываемой в мире электроэнергии. Вот почему на планете набирает силу строительство крупных ЦОДов вблизи источников генерации электроэнергии. А глава «Ростелекома» Михаил Осеевский обратился в правительство РФ с просьбой предоставить ЦОДам, обеспечивающим работу ИТ-систем госорганов, например, ЦОДу «Калининский» вблизи Калининской АЭС, статус оптового потребителя электроэнергии, что существенно снизит соответствующие затраты.

Энергоэффективность – один из ключевых параметров любого ЦОДа.

Мы видим фокус на консолидацию ИТ-ресурсов у одних компаний и децентрализацию у других. Третьи смотрят в сторону периферийных вычислений и Edge-решений. Однако, несмотря на различные бизнес-потребности этих компаний, они все больше интересуются энергоэффективными решениями как средством сокращения своих затрат. И если ранее эта тенденция была присуща лишь коммерческим ЦОД, то сейчас все больше корпоративных площадок задумываются об экономии энергоресурсов,- отмечает Сергей Махлин, руководитель направления электроснабжения и климатических систем ИТ-компании КРОК.

В борьбе за улучшение энергоэффективности настоящие сражения идут за десятые доли коэффициента PUE (Power Usage Effectiveness), представляющего собой отношение общей мощности, потребляемой ЦОД, к мощности, потребляемой ИТ-оборудованием.

Классификация ЦОД по параметрам энергоэффективности

Главный критерий высокого результата – хорошие показатели PUE, достигаемые без увеличения капитальных затрат. При этом снижение коэффициента – нетривиальная комплексная задача: нужно рассматривать не отдельные энергетические установки, энергопотребление ЦОДа в целом – от инженерной конструкции здания до процессоров серверного оборудования.

Энергоэффективность ЦОД определяется множеством факторов. Это и эффективность его инженерной инфраструктуры – хладоснабжения, энергообеспечения, и эффективность используемого серверного оборудования. Стоимость изменений в инфраструктуре ЦОД наибольшая, поэтому важность правильного выбора решений при проектировании трудно переоценить,- подчеркивает Владимир Леонов, технический директор АМТ-ГРУП.

Тепло – на ветер

По данным Borderstep Institute, в 2013 г. ЦОДы израсходовали порядка 10 ТВт/ч электроэнергии, и 40% этой энергии потребили климатические системы. Несмотря на все усилия по оптимизации энергопотребления, на следующий год суммарное потребление ЦОДов увеличилось на 3%, и еще через год - на 4%. Артем Кузнецов, руководитель планово-экономической службы компании «АРБИТЕК» (ГК «АйТеко»), поясняет, почему утилизация огромного количества тепла, которое является побочным продуктом при функционировании любого крупного Data-центра, стало настоящим вызовом для индустрии ЦОДостроения:

Вся выделяемая тепловая энергия зачастую рассеяна на большой площади и не может быть собраны в единые точки без каких-либо значительных потерь при ее транспортировке.

В определенной мере тяжесть проблем уменьшило появление современных моделей серверов, которые, как отмечает Артем Кузнецов, прекрасно функционируют даже при поддерживании 400С в холодном коридоре. Даже при таких режимах, полностью избавиться от проблем с избытком тепла не получается. Второй по важности проблемой являются затраты на электричество, стоимость на которую является наиболее существенной в части себестоимости бизнеса Data-центров после капитальных затрат на оборудование.

Самый распространенный вид отвода тепла из ЦОДа - компрессорное охлаждение, которое само по себе требует большого количества электроэнергии. К тому же тенденция консолидация серверов и рост популярности систем блейд-серверов высокой плотности приводит к тому, что в рамках все меньших площадей концентрируется все больших вычислительных мощностей. При этом возможно появление горячих точек, с которыми, говорят эксперты, системам отопления, вентиляции и кондиционирования воздуха (ОВиК) практически невозможно справиться: локальное охлаждение таких горячих зон ЦОДа лишь перераспределяет распределение тепла, но не уменьшает расход электроэнергии.

Для решения проблемы вблизи сильно нагревающихся стоек устанавливают межрядные прецизионные кондиционеры, которые обеспечивают эффективный отвод тепла и предотвращают перегрев оборудования. Увеличивающиеся эксплуатационные затраты затем стараются снизить, внедряя современные методы мониторинга и учета ресурсов, передовые энергосберегающие технологии.

Стык экономии ресурсов и затрат на эксплуатации ЦОД, является сложным компромиссом между повышением стоимости создания и снижением стоимости владения,- подчеркивает Роман Шумейко, начальник отдела поддержки продаж системного интегратора «ХайТэк».

В ходе поисков эффективного решения появилась концепция тригенерации (Trigeneration, CCHP - combined cooling, heat and power), подразумевающей процесс совместной выработки электричества, тепла и холода.

Один из подходов подразумевает, что в хладоцентре ЦОД устанавливаются абсорбционные холодильные машины, которые в своем цикле используют тепло, поступающее от источника, находящегося в непосредственной близости от Data-центра, например, ТЭЦ или завода. Генерация холода происходит в специальном цикле испарения воды в вакууме и абсорбции в растворе бромида лития, который далее регенерируется с использованием внешнего источника тепла. Значение PUE для данной схемы может достигать 1,15.

Технология тригенерации является более выгодной по сравнению с когенерацией (комбинированным производством тепловой и электрической энергии), поскольку дает возможность эффективно использовать утилизированное тепло не только зимой для отопления, но и утилизировать тепло летом.

Технология тригенерации крайне сложна в эксплуатации и имеет высокий показатель капитальных расходов CAPEX на начальном этапе развертывания ИТ-решений,- замечает Артем Кузнецов, а окупаемость таких решений даже при грамотном техническом обслуживании достаточно велика - 7 - 8 лет.

Хладоцентр ЦОД «Калининский»: запас холодного теплоносителя обеспечит работу системы при полной нагрузке в случае выхода из строя всех холодильных машин. Источник: «Росэнергоатом», 2019 г.

Где находится та точка, которая позволит разорвать порочный круг увеличения CAPEX и OPEX в климатических решениях для ЦОД? По мнению Александры Эрлих, генерального директор акомпании «ПрофАйТиКул», это общее снижение потребления электроэнергии.

Математика очень проста: мы экономим на системе холодоснабжения и вкладываем колоссальные деньги в энергетику. Или мы тратим чуть больше на холод, но это позволяет нам получить значительную экономию на смежных разделах,- поясняет Александра Эрлих.

Олег Любимов также видит тенденцию к снижению энергопотребления обслуживающих систем дата-центров: повышение рабочей температуры оборудования, все большее использование для охлаждения наружного воздуха вместо фреоновых кондиционеров, минимизация потерь в системах электроснабжения.

Управление воздушными потоками

С практической точки зрения, системы охлаждения должны поддерживать коридоры температуры и влажности несмотря на климатические скачки, иметь как можно меньше возможных точек отказа, потреблять как можно меньше электроэнергии, быть максимально простыми и удобными в эксплуатации, отмечает Александра Эрлих. И, кроме того, поддерживать масштабируемость, то есть иметь возможность легко нарастить климатическую систему, если возникнет потребность увеличить мощность или количество стоек в ЦОДе.

Этим требованиям во многом соответствуют системы управления воздушными потоками в помещениях ЦОДа. Илья Царев, архитектор Центра разработки решений для ЦОД компании Schneider Electric, замечает, что ряд несложных правил из опыта лучших проектов ЦОД позволяют решающим образом снизить электропотребление ЦОД. К их числу, например, относятся правила разделения потоков холодного воздуха на охлаждение ИТ-оборудования и отводимого горячего, отсутствие рециркуляции и байпассирования воздуха.

Александра Эрлих делает ставку на два подхода: индивидуальные системы прямоточной вентиляции и уход от прецизионных кондиционеров в сторону теплообменников. Большие модули теплообменников с жидкостным охлаждением используются одновременно в качестве перегородки между инфраструктурой обеспечения и вычислительным центром. Горячий воздух от стоек с ИТ-оборудованием нагнетается с помощью вентилятора в пространство за охлаждающим жидкостным теплообменником. Проходя через теплообменник, он охлаждается и подается назад на охлаждение стоек.

Теплообменники можно использовать в ЦОД любой конфигурации, в любой климатической зоне, как при строительстве нового ЦОД, так и при модернизации/реконструкции,- замечает Александра Эрлих.- Они легко вписываются в любую архитектуру, масштабируются, прекрасно эксплуатируются. А главное, стоят и потребляют вдвое меньше, чем прецизионные кондиционеры.

Особенно важно это при модернизации ЦОДа.

Современную систему вентиляции часто сложно вписать в существующие шахты, а вот практикуемые нами системы теплообменников для ЦОД могут работать и без фальшпола, и без фальшпотолка, и занимать при этом минимум места в машзале, либо вообще располагаться за его пределами,- отмечает она.

В поисках бесплатного холода: фрикулинг

Фрикулинг — холодильная система, использующая режим естественного охлаждения, как отмечает Александра Эрлих, стала первой и весьма рациональной попыткой уменьшить энергопотребление ЦОДа, поскольку удалось реализовать систему, работающую хотя бы часть года без компрессоров и другого энергоемкого оборудования. Речь идет о подаче прохладного уличного воздуха напрямую в помещение (если температура наружного воздуха ниже, чем в помещении) или посредством теплоносителя (если на улице жарко).

Наиболее популярный вариант - чиллеры с функцией фрикулинга, которые представляют собой холодильные машины, оснащенные дополнительным теплообменником. Если наружная температура выше заданной температуры холодоносителя, то холодоноситель охлаждается в испарителе холодильного контура, встроенного в чиллер. А в холодное время года жидкость охлаждается не в испарителе, а специальном теплообменнике – драйкулере, где в качестве источника охлаждения используется наружный воздух с низкой температурой.

Чиллеры на кровле здания ЦОД «Калининский» в Удомле. Источник: «Росэнергоатом», 2019 г.

По оценкам экспертов, такая система требует существенных капитальных вложений, однако достаточно быстро окупается (возможно даже в первый год эксплуатации), поскольку основной потребитель электроэнергии в такой системе – чиллер – не работает в течение нескольких холодных месяцев.

Очень часто оптимальной по цене и энергоэффективности оказывается система чиллер-фанкойл. В качестве фанкойлов выступают кондиционеры с системой охлаждения CW (chiller water), которые работают в паре с холодильной машиной. Основными элементами охлаждения в кондиционерах CW - теплообменник и двух- или трех-ходовой клапан, который меняет расход холодоносителя в зависимости от уровня тепла в помещении.

Илья Царев подчеркивает, что повышению энергоэффективности ЦОДа способствует применение чиллеров с плавной регулировкой производительности и безкомпрессорных систем, а также отказ от активного поддержания влажности постоянной работой пароувлажнителей в пользу настройки температурно-влажностных показателей в зале таким образом, чтобы предотвратить выпадение конденсата на теплообменниках.

Системы вентиляции, использующие воздушный фрикулинг и адиабатическое охлаждение (за счет испарения воды, например, распыляемой системой высокого давления) внутри помещения, дают возможность добиться очень хороших показателей PUE – до 1,043, поскольку вспомогательное оборудование, включая систему охлаждения, даже летом потребляет всего около 4% электроэнергии энергии ЦОДа, а зимой – еще меньше.

Следующий виток развития систем фрикулинга связан с появлением гибридных и бесчиллерных систем. Гибридные (наружные) системы используют вместо воздушных драйкулеров их испарительных собратьев: вода испаряется с поверхности теплообменника, при этом на разрыв межмолекулярных связей затрачивается огромное количество энергии, что позволяет охладить воздух.Энергопотребление сокращается на 20–30%, по сравнению с базовым вариантом фрикулинга, а режим естественного охлаждения удается растянуть практически на весь год.

Обратная сторона медали - расход воды, который может быть очень велик. Организация Green Grid даже ввела еще один параметр, характеризующий полезное потребление воды в Data-центре, – коэффициент использования воды WUE (Water Usage Effectiveness), который по аналогии с PUE рассчитывается как отношение годового потребления воды к мощности ИТ-оборудования и измеряется в л/кВт/ч.

В бесчиллерных системах чиллеры находятся в холодном резерве, а вся нагрузка по охлаждению ложится на гибридные охладители. Так охлаждается, например, ЦОД Google в Германии. Бесчиллерные системы рассматриваются как один из вариантов магистрального развития ЦОДов, однако они весьма чувствительны к параметрам внутренней и внешней среды и потому требуют детальных расчетов при проектировании.

Тренд на применение воды для охлаждения ЦОД можно считать одним из ключевых в ближайшем будущем - стало понятно, что пределы совершенствования воздушного охлаждения уже близки и для достижения более ощутимых результатов в части энергоэффективности необходимо заменить воздух более эффективным теплоносителем. Сегодня вода – лучший кандидат на эту роль.

Роман Шумейко из компании «ХайТэк» полагает:

В развитии структуры ЦОД можно выделить две глобальные тенденции: переход к энергосберегающим технологиям и технологиям жидкостного охлаждения.

2021: Воздух позволит сэкономить затраты в ЦОД

Свободное охлаждение или фрикулинг в последние годы все чаще используется в ЦОД по всему миру, особенно в крупных дата-центрах. Рост цен на электроэнергию заставляет владельцев вычислительных площадок искать новые методы и подходы к охлаждению оборудования и значительной экономии затрат. Подробнее здесь.

Погружное охлаждение: от суперкомпьютера до ЦОДа

Воздух – это скорее теплоизолятор, чем теплоноситель. А у воды – масса преимуществ: высокий коэффициент теплопередачи, во много раз превышающий соответствующий показатель воздуха, доступность и относительно невысокая стоимость. Можно заметно повысить энергоэффективность, отойдя от привычного метода охлаждения активного оборудования, воздухом, который по сравнению с жидкой средой имеет очень низкую теплоемкость, говорит Артем Кузнецов из «АРБИТЕК»:

Одним из перспективных направлений является решение о погружении активного оборудования в жидкостную среду диэлектрика (жидкий теплоноситель).

Это дает значительные преимущества при эксплуатации оборудования. Например, поддержание значения температуры диэлектрического теплоносителя на уровне 35 C требует значительно меньших энергозатрат, чем подача воздуха с температурой 13°C.

Согласно оценкам Global Market Insights, рынок таких решений для Data-центров к 2025 г. превысит 2,5 млрд. долл. Аналитики объясняют это тем, что с увеличением объемов обрабатываемых данных и, соответственно, нагрузки на серверы в ЦОД, особенно, те, которые занимаются высокопроизводительными вычислениями, возможностей систем воздушного охлаждения становится недостаточно.

Погружное охлаждение – самый простой вариант: вычислительные модули погружаются в диэлектрическую жидкость (минеральное или синтетическое масло), которая отводит тепло в процессе циркуляции.

Погружное охлаждение электронного оборудования. Источник: «Экофлопс»

С данным типом охлаждения в течение ряда лет экспериментирует индустрия высокопроизводительной техники и суперкомпьютеров. Наиболее известные проекты такого типа - суперкомпьютер SuperMUC производительность 3 Пфлопс, работающий в вычислительном центре им. Лейбница Баварской академии наук в Германии. Реализованная идея такова: процессор снабжается специальным водяным теплообменником, в который подается вода с температурой +40°C. Отработанная вода с температурой +70°C либо идет на отопление, либо охлаждается в климатической системе, построенной по принципу круглогодичного фрикулинга.

В России с помощью системы водяного охлаждения с круглогодичным фрикулингом охлаждается суперкомпьютер НИВЦ МГУ.

Другие варианты водяного охлаждения техники изнутри:

• Двери с водяным охлаждением. В этом случае кондиционер устанавливается на заднюю стенку серверной стойки и сразу отводит тепло от оборудования, и горячий воздух не попадает в машинный зал.

В этом случае удается получить многократное сокращение длины горячего коридора, что существенно повышает энергоэффективность системы охлаждения. Кроме того, решение не требует дополнительных площадей, позволяя оптимально использовать пространство в Data-центре. Двери с водяным охлаждением могут рассматриваться в качестве хорошей альтернативы внутрирядным кондиционерам, особенно в ситуации, когда необходимо обеспечить охлаждение высоконагруженных стоек.

• Охлаждение с помощью контурных тепловых трубок, которые доставляют хладагент непосредственно к активным компонентам серверов. Тепло от них отводится на теплообменник, который может быть расположен как внутри серверной стойки, так и снаружи.

Компания Google оснащает системами жидкостного охлаждения серверное оборудование, предназначенное для проведения расчетов на базе методов машинного обучения. Соответствующие модули – ASIC-микросхемы Tensor Processing Unit – располагаются группой на материнской плате вместе с охлаждающей пластиной. Жидкий хладагент подается на охлаждающую пластину, контактирующую с каждым чипом ASIC TPU через тепловую трубку.

Капитальные затраты на системы с водяным охлаждением серверов сегодня все еще слишком высоки. Как ни странно, одной из существенных составных частей стоимости решения может стать вода, потому что для крупного ЦОДа ее нужно очень много. Так, по сведениям Bloomberg, в 2019 г. Google понадобилось более 8,7 млн. куб. м воды для своих ЦОД в трех штатах. Потребность в воде настолько велика, что ее приходится запрашивать у властей города, в которых располагаются ЦОДы. Скажем, для нового ЦОДа, размещенного в городе Ред-Оук (штат Техас), требуется до 1,46 млрд. галлонов воды, в то время как весь округ, где расположен этот и еще два десятка городов, потребляет на все свои муниципальные нужды 15 млрд. галлонов воды.

Сервер-подводник. Источник: «Экофлопс»

В последнее время иммерсионное охлаждение - охлаждение серверного оборудования путем его полного погружения в жидкий диэлектрический хладагент – стало использоваться для оборудования обычных ЦОДов. Такая система компактна, непритязательна в электропитании – энергия нужно только для работы нескольких маломощных насосов. Зато обеспечивается стабильная температурная среда, исключающая появление горячих зон с высоконагруженными стойками.

Центр обработки данных DTL с иммерсионным охлаждением введен в эксплуатацию в 2019 г. в Москве.

Ключевые особенности указанных систем охлаждения – необходимость специальной доработки плат и высокая чувствительность конструкции к протечкам. Еще на один недостаток данного решения в формате ЦОД, указывает Артем Кузнецов:

Увеличение количества площадей под активное оборудование и необходимость использования специальных подъемных механизмов для оперативной замены вышедшей из строя вычислительной техники.

«Инпро Технолоджис» — российский разработчик и производитель вычислительно-коммуникационных комплексов, разработавший собственное решение охлаждения на базе технологии непосредственного жидкостного охлаждения Liquid Cube. В компании говорят, что вычислительные системы и сети, построенные на основе Liquid Cube, потребляют на 30% меньше электроэнергии и позволяют сократить эксплуатационные расходы на 50% по сравнению с традиционными решениями ЦОД.

Энергоэффективность систем с непосредственным жидкостным охлаждением. Источник: «Инпро Технолоджис»

Олег Котелюх, управляющий партнер «Инпро Технолоджис» говорит, что решение Liquid Cube может быть использовано для широкого спектра задач: от хранения данных до узкоспециализированных вычислений высокой плотности.

Контейнерный ЦОД Liquid Cube с жидкостным охлаждением

Контейнерный ЦОД Liquid Cube - это универсальная вычислительно – коммуникационная платформа с непосредственным жидкостным охлаждением, ориентированноая на использование в рамках гиперконвергентных и Edge-архитектур. Быстровозводимый ЦОД Liquid Cube может работать в широком диапазоне температур окружающей среды и даже в агрессивной внешней среде, обеспечивая снижение OPEX на 50% и более, по сравнению с традиционным ЦОДом.

Сравнение традиционного ЦОДа и Liquid Cube с одинаковым энергопотреблением

Плавучий ЦОД

В течение нескольких лет компания Nautilus Data Technologies занимается строительством плавучих ЦОДов. Первый такой Data-центр Eli M мощностью 8 МВт, включающий 800 серверных стоек, был спущен на воду в конце 2015 г. А в конце нынешнего года в порту Стоктон (штат Калифорния) на барже, пришвартованной в порту, должен заработать еще один плавучий ЦОД мощностью 6 МВт.

Водоплавающий ЦОД Nautilus Data Technologies. Источник: Selectel

В ЦОД на барже будет установлена фирменная система охлаждения компании с теплообменниками, которая использует воду, окружающую объект. Средний расход забортной воды для поддержки системы охлаждения серверов составляет около 17 тыс. литров в минуту и может достигать 45 тыс. литров в минуту на пике.

В компании Nautilus Data Technologies утверждают, что метод охлаждения позволяет в пять раз увеличить удельную мощность в расчете на стойку, и при этом ЦОД будет менее требователен к ресурсам, чем Data-центры конкурентов.

Двухпалубный Data-центр от Nautilus Data Technologies с модульной структурой. Источник: Selectel

На специально сконструированной барже размещается также плавучий ЦОД Google. Первый такой Data-центр, охлаждаемый морскими водами, был запущен в 2011 г. Конструкцию внутренней системы охлаждения компания не раскрывает.

Подводный ЦОД

В середине сентября корпорация Microsoft подвела итоги двухлетних испытаний своего подводного Data-центра, которые проводились в Шотландии в рамках проекта Natick. Прототип первого поколения Leona Philpot - небольшой контейнер размером 3 x 2 м еще в 2015 г. был погружен под воду на глубину 10 метров неподалеку от тихоокеанского побережья США. Он проработал 105 дней, продемонстрировав коэффициент PUE на уровне 1,07.

ЦОД второго поколения более внушительных размеров - 12,2 x 2,8 м, он вместил 12 стоек с 864 серверами. соответственно. Data-центр с энергопотреблением в 240 кВт был размещен рядом с приливной электростанцией, обеспечивавшей электропитание ЦОД В ходе его эксплуатации. Разработчики отмечали, что этот прототип рассчитан на пять лет работы и не нуждается в промежуточном обслуживании.

Подводный ЦОД Microsoft проекта Natick

Результаты проекта Natick 2 показали, что интенсивность отказов (отношение числа отказавших объектов в единицу времени к среднему числу объектов, исправно работающих в данный отрезок времени) подводного ЦОД оказалась в восемь раз ниже по сравнению с наземными Data-центрами.

В Microsoft отметили также, что главными проблемами обычных центров обработки данных являются перепады температуры и коррозия, которую вызывают кислород и влага в воздухе. Герметичные подводные Data-центры обеспечивают защиту от коррозии, а температура в них практически не меняется за счет использования для охлаждения морской воды.

В настоящее время инженеры Microsoft заняты созданием ЦОД третьего поколения – он будет включать 12 цилиндрических контейнеров с техническими характеристиками Natick 2. Они вместе со всей вспомогательной инфраструктурой Data-центра будут крепиться к стальной раме на глубине в 200 метров под водой. Общая мощность ЦОД Natick 3 составит 5 МВт.

Подводный ЦОД Natick 3 компании Microsoft

Погружение в грунтовые воды

В ситуации, когда поблизости нет моря, для охлаждения ЦОД предлагается использовать грунтовые воды. Действительно, на глубине от 10 до 100 метров температура не меняется в течении года, и составляет в зависимости от местности 8°C - 12°C. А специальной подготовки воды, как правило, не требуется. Аналогично воздушному фрикулингу, возможен вариант непосредственного охлаждения или с использованием теплообменников.

Коэффициент PUE такой системы составляет 1,06 – 1,08. Важный аспект решения – стоимость проекта, которая серьезно растет с ростом глубины.

Грунтовые воды используются, в частности, для охлаждения серверов в ЦОДе IGN в Германии. Вода с глубины 300 м при помощи насоса поднимается в ЦОД, охлаждает внутренний замкнутый контур водяного охлаждения серверов, нагреваясь при этом всего на 5 К, и спускается в другую скважину. Система позволила сэкономить 30–40% электроэнергии по сравнению с привычным воздушным охлаждением.

Если говорить об экономической эффективности ЦОДа, то начинать нужно с климатических систем. Чем эффективнее они, тем дешевле все остальные. И тут абсолютные лидеры на сегодняшний день – грунтовые воды,- уверена Александра Эрлих.- Потребление системы равно потреблению нескольких насосов. И все. Круглогодичный фрикулинг, практически бесплатный холод. Мы проектируем сейчас такую систему в Германии, они здесь широко распространены, но в России систем на грунтовых водах пока, к сожалению, не встречала.

ЦОДы зеленеют

Еще одним вариантом оптимизировать воздушное охлаждение ЦОДа стал выбор соответствующего места размещения с подходящими природными условиями. Не удивительно, что первые такие опыты были проведены в Финляндии и Исландии – странах с холодным климатом. Следует отметить, что помимо природных условий, для успешной реализации такого проекта требуется наличие развитой инфраструктуры: дороги, связь, электроэнергия и т.д.

Не так давно в ЦОДах появилась система охлаждения Киото-кулинг. Это «зеленая» технология, которая круглогодично использует холод окружающей среды. А для гарантированной работоспособности применяются резервные парокомпрессионные машины. Среднегодовой PUE достигает 1,15.

Илья Царев указывает на то, что использование благоприятных особенностей климата (например, системы с использованием фрикулинга) или географического положения (ЦОД с непрямым охлаждением водой открытых водоемов), способно решающим образом снизить электропотребление ЦОД. Действительно, объем потребления электричества не является неизменным параметром, замечает Павел Горюнов, технический директор сети дата-центров КРОК:

Он может зависеть от времени года и климатической зоны размещения Data-центра. Последнее также влияет на выбор решений, цель которых – повышение энергоэффективности. В южных регионах это могут быть солнечные панели для питания оборудования, в степных районах с преобладающими сильными ветрами – «ветряки», на севере – охлаждение грунтовыми водами или морской водой.

Роман Шумейко резюмирует:

Сегодня как никогда востребованными становятся «зеленые технологии». Важно, что они не только уменьшают влияние инфраструктуры на окружающую среду, но и позволяют существенно экономить ресурсы путем снижения энергозатрат.

Поскольку снижения показателя PUE ниже достигаемого сегодня уровня в 1,1 на практике добиться тяжело, фокус внимания смещается на технологии с низким потреблением электричества и возобновляемые источники энергии. Так, один из ЦОДов Apple, расположенный в Северной Каролине, уже сегодня на 100% запитывается от источников возобновляемой энергии: 42 млн. кВт/ч поступают от солнечных панелей, остальные потребности покрываются сжиганием биогаза.

Олег Котелюх добавляет:

Ряд крупных западных и азиатских корпораций заявили, что их дата-центры работают с применением энергии ветра и солнца. А один финский застройщик недавно поделился планами об использовании тепла от ЦОДа для обогрева домов и сельскохозяйственных теплиц.

Но проекты такого рода весьма нетривиальны: на выходе из сервера – низкопотенциальная теплота, которую достаточно сложно утилизировать. Как минимум, потому, что для этого ЦОД становиться теплоснабжающей организацией и получать соответствующую лицензию. Это одна из перспективных задач, которая должна быть решена в будущем, если российские ЦОДы пойдут по пути энергосбережения за счет «зеленых» технологий: кому и как передавать образующееся тепло, в частности, летом?

Точечные успешные проекты в мире есть. Например, ЦОД «Яндекса» в городе Мянтсяля в Финляндии, охлаждается прямым фрикулингом, а нагретый воздух через теплообменник поступает в городскую сеть теплоснабжения. «Яндекс» еще и получает деньги от муниципальных служб за поставляемую тепловую энергию.

Константин Зиновьев, директор отделения инженерной инфраструктуры компании Rubytech, резюмирует:

Конечно же, сегодня все заказчики задумываются об энергоэффективности. В частности, выбирают инженерные системы с высоким КПД и дополнительными возможностями по энергосбережению (например, free-cooling), применяют ИТ-оборудование с усовершенствованными алгоритмами использования ресурсов и сниженными требованиями к внешним условиям.

Однако об использовании в ЦОДах РФ переработанной электроэнергии или альтернативных источников энергии речи пока не идет, полагает эксперт:

Для России это, скорее, экспериментальная история. Целесообразность строительства «зеленых» и энергоэффективных ЦОДов напрямую связана со стоимостью энергоресурсов. Сейчас они достаточно дешевы в сравнении со стоимостью требуемого оборудования, которое закупается за валюту.

По оценкам Константина Зиновьева, для того чтобы окупить финансовые вложения в строительство Data-центров с энергоэффективными инженерными системами требуется не менее 10 лет.

Это неприемлемо для коммерческих площадок, зато применимо для крупных корпоративных заказчиков и госструктур. При этом нужно учитывать, что энергоэффективные решения зачастую — более надежные. И это тоже влияет на выбор решения,- отмечает Константин Зиновьев.

Курс на интеграцию технологий

Широкий выбор перспективных решений для охлаждения ЦОД осложняется тем, что практическая реализация каждого из них зависит от множества параметров: где-то нет достаточного количества воды для испарительного охлаждения, где-то не хватает электрической мощности, а где-то – пространства для вентиляционной камеры.

У энергоэффективных систем, например прецизионных кондиционеров на фреоне, СAPEX зачастую гораздо выше, чем у традиционных, но зато прекрасные показатели OPEX. При использовании фрикулинга важен температурный режим в машинном зале: чем больше разница между температурой внутри ЦОДа и снаружи, тем меньше CAPEX, та как меньше работа по переносу теплоты. Чем эта разница меньше, тем большая работа требуется для охлаждения машинного зала, а это означает увеличение энергопотребления, то есть OPEX системы. В целом, говорят эксперты, фрикулинг – это всегда высокий CAPEX, и окупается такой проект при низком OPEX.

Универсальных рецептов нет, говорит Александра Эрлих:

Все зависит от климата, наличия ресурсов и назначения самого ЦОД.

Однако, по ее мнению, есть общие тенденции развития данного сегмента решений:

• прямоточная вентиляция;
• замена морально устаревших прецизионных кондиционеров теплообменниками различных конфигураций;
• технологии, основанные на испарении воды.

Артем Кузнецов считает, что наиболее передовым методом повышения энергоэффективности является комбинирование различных методик охлаждения, позволяющих расширить период возможного использования фрикулинга:

Решением этого вопроса может быть строительство ЦОДов в более северных широтах, использование технологии адиабатического охлаждения, снижение самой ИТ-нагрузки путем отказа от вентиляторов для охлаждения активного оборудования и установки радиаторов на процессоры с тепловыми трубками.

Санджай Кумар Сайнани, старший вице-президент и технический директор глобального подразделения центров обработки данных компании Huawei в своем прогнозе развития центров обработки данных на 2020 – 2025 гг. отмечает в качестве одной из существенных тенденций отрасли конвергенцию жидкостных и воздушных охладительных систем, более широкое применение технологий непрямого испарительного охлаждения вместо водяного. Так, в районах с подходящим климатом системы водяного охлаждения будут постепенно заменяться непрямым испарительным охлаждением.

Энергоэффективность вычислительных систем

Как отмечает Илья Царев, многих российских заказчиков интересует не столько среднегодовое потребление ЦОД, сколько его пиковое потребление:

Чем выше пиковое потребление, тем мощнее должна быть распределительная сеть электропитания ЦОД, и тем больше требуемая от города мощность, а в перспективе (с учетом позиции Минэнерго РФ по неиспользованию резервов сетевой мощности) – выше штрафы за неиспользуемые большую часть года резервы мощности.

В целях снижения пикового потребления в энергоэффективных Data-центрах нового поколения особые требования предъявляются и к активному оборудованию. Как утверждают эксперты, суммарно это даст более высокий выигрыш в снижении общего энергопотребления ЦОДа, чем традиционная гонка за низким показателем PUE.

Ключевым потребителем электроэнергии в ЦОД является вычислительное оборудование. Соответственно, сократить затраты можно путем более эффективной утилизации систем, применения виртуализации и использования решений, которые уже позиционируются как энергоэффективные,- отмечает Павел Горюнов.

Виртуализация сервисов обусловливает повышение эффективности использования аппаратной части ИТ-инфраструктуры, поясняет Алексей Малышев, основатель и генеральный директор компании «СОНЕТ», и ведет к тому, что количество используемых CPU и СХД растет медленнее, чем объем обрабатываемых данных.

Следствием виртуализации становится укрупнение ЦОД, что позволяет применять технические решения для снижения PUE, использование которых в более мелких Data-центрах экономически нецелесообразно,- добавляет Алексей Малышев.

Технологии виртуализации в свое время на несколько лет сломали тренд роста мощности в расчете на стойку и замедлили темпы роста масштабов ЦОД,- говорит Илья Царев.- Обещанных к 2013-2015 годам десятилетием ранее значений 8 - 10 кВт на стойку в среднем корпоративном ЦОД мы достигаем только сейчас, а в colocation во многих случаях не достигли до сих пор.

По мнению эксперта, повысить энергоэффективность ЦОД можно, следуя даже незамысловатой стратегии эффективного пользования ИТ-оборудованием. Во-первых, своевременное избавляться от аппаратуры, не совершающей полезной работы. Во-вторых, обеспечивать возможность масштабировать архитектуру инженерных систем с опцией, как ее безболезненного наращивания, так и сокращения вслед за объемом ИТ-оборудования. В-третьих, планировать расстановку ИТ-оборудования в стойках с помощью DCIM-систем, позволяющих повысить эффективность систем охлаждения и распределения электропитания.

По мнению Павла Горюнова, универсальным инструментом для повышения энергоэффективности Data-центра является контроль климатических параметров с помощью IoT.

Такое решение мы внедрили у себя в ЦОД. Система с помощью сотен датчиков фиксирует два раза в минуту температуру в помещениях, строит тепловые карты и позволяет выявить неоптимально расположенное оборудование,- рассказывает представитель КРОК.

По его словам, это дает возможность экономить порядка 5% затрат на электроэнергию в год, а также снизить количество поломок из-за перегрева оборудования или повышенной влажности.

Бесперебойное электроснабжение

Сегодняшний стандарт де-факто для систем бесперебойного электропитания (СБЭ) ЦОДа - установка статических ИБП, работающих в режиме on-line (двойного преобразования), позволяющих получить электроэнергию требуемого качества. Кроме того, для современного оборудования характерно применение импульсных блоков питания с нелинейным характером потребления. Для питания такого рода оборудования хорошо используются мощные трехфазные ИБП с двойным преобразованием, которые позволяют избежать перегрузок нейтральных кабелей входных электросетей и оборудования трансформаторных подстанций.

Как считает Илья Царев, поиск более эффективных решений идет в сторону топологически более сложных решений в системах распределения питания крупных ЦОД, чем классическое двухлучевое питание и схема резервирования 2N, N+1.

Один из перспективных методов синхронизации и распределения нагрузки реализован, например, в технологии Hot Sync, принадлежащей компании Eaton. В отличие от параллельных систем других производителей, устройства не обмениваются друг с другом информацией, необходимой для синхронизации и балансировки нагрузки. Алгоритм работы системы базируется на проверке любых отклонений выходной мощности ИБП, и каждое устройство работает независимо в режиме полной синхронизации с остальными. Отметим другие направления, по которым идет развитие СБЭ.

• Литий-ионные батареи как замена традиционным свинцово-кислотным аккумуляторным батареям. Они гораздо легче и компактнее традиционных батарей и обладают большей энергоемкостью.

Они более долговечны по сроку эксплуатации и количеству циклов заряда-разряда, и содержат меньшее количество тяжелых металлов и агрессивных веществ,- отмечает Илья Царев и добавляет, что пока литий-ионные аккумуляторы слишком дороги для массового применения в Data-центрах, но по мере удешевления они будут постепенно заменять в ЦОДах традиционные свинцово-кислотные АКБ.

По данным Schneider Electric, в зависимости от сферы применения литий-ионных аккумуляторов можно добиться экономии общей стоимости владения на уровне 10-40%.

• Модульные ИБП. Практически все ведущие вендоры добавили в свой продуктовый портфель модульные установки мощностью 1 МВт и выше: легко масштабируемые и обслуживаемые. Мощность системы можно наращивать с относительно небольшим шагом, добавляя дополнительные шкафы с батареями.

В частности, у компании Vertiv есть сверхмощный ИБП Liebert Trinergy Cube (от 150 кВт до 3,4 МВт), сформированный по модульному принципу. Более того, он сам может играть роль единого модуля и образовывать в результате масштабирования структуру бесперебойного питания мощностью до 27 МВт в параллельной конфигурации.

За счет децентрализованной архитектуры модульные решения обладают большой конструктивной гибкостью и позволяют при увеличении потребности в электропитании за короткий промежуток времени подключить к уже функционирующему устройству один или несколько дополнительных модулей. Причем, среднее время восстановления системы после отказа (MTTR) радикально сокращается за счет возможности горячей замены неисправного модуля.

• Динамические (дизель-роторные) ИБП. Не используют аккумуляторные батареи. Включают три основных элемента: маховик — ключевой элемент ДИБП, играющий роль накопителя энергии и вращающийся на точно выровненной оси; синхронная электрическая машина; дизельный двигатель.

Бесперебойная работа поддерживается за счет кинетической энергии маховика, вследствие чего необходимость в аккумуляторных батареях отпадает. Срок службы ДИБП составляет не менее 25 лет, тогда как статические ИБП прослужат 10-15 лет. Более высокий КПД системы — 98% против 95%. Решение с ДИБП занимает гораздо меньше места, проще обслуживается, помогает сократить капитальные и эксплуатационные затраты.

• Кластерные системы. Мощность наращивается с помощью параллельной установки силовых блоков большой мощности, например, с шагом по 250 кВА. Таким образом, создается самостоятельная конструкция более высокой технологической ступени с общим сервисным байпасом, общим аккумуляторным питанием и единой схемой управления.

• Контейнерные силовые решения. Обеспечивают большую гибкость и легкость масштабирования при создании мегаваттных центров обработки данных. Модули можно перевозить, быстро монтировать и использовать многократно. Это очень удобно, например, операторам связи при строительстве сетей 5G.

• Распределенные ИБП. Монтируются либо в серверной стойке, либо непосредственно рядом с ней так, чтобы между каждым сервером и подключенным к нему ИБП практически не оставалось свободного пространства. Благодаря такому подходу риск возникновения дефектов подключения в цепи питания существенно снижается, а небольшая масса упрощает монтаж и перенос распределенных ИБП.

• Централизованное управление ИБП. Возможность мгновенного получения информации о состоянии ИБП, включая данные об их емкости, местоположении, состоянии нагрузки, а также необходимости замены аккумуляторных батарей каждого ИБП.

• Интеллектуальное управление ИБП. Система интеграции для ЦОД на базе ИБП реализована, например, российской компанией «ИМПУЛЬС». Это система централизованного мониторинга с локальным дисплеем, которая отслеживает состояние системы электроснабжения, температуры и уровня влажности, а также состояние каждой отдельной подсистемы. Возможность круглосуточного и круглогодичного удаленного мониторинга за состоянием систем и загрузкой оборудования позволяет минимизировать затраты на обслуживание, ремонт оборудования и потери от внеплановых простоев.

Специальный режим экономии электроэнергии ECOnversion компании Schneider Electric позволяет снизить операционные расходы. Построение отказоустойчивых систем с резервированием N+1 возможно на базе встроенного резервирования. Расширение мощности возможно как в пределах 1500 кВт (с шагом 250кВт), так и выше – путем параллельного подключения нескольких систем.

• Возможность делиться неиспользуемой электроэнергией. Компания Vertiv в партнерстве с Upside Energy развивает технологию Virtual Energy Store. Она позволяет делиться неиспользуемой электроэнергией с центральной сетью. Фактически это система оперативного реагирования на спрос, не требующая запуска дополнительных генерирующих мощностей.

Согласно заявлениям разработчиков, платформа Virtual Energy Store от Upside Energy может организовать совместную работу более 100 тыс. устройств в реальном времени, контролируя системы ИБП клиентов без ущерба для их функционала в области аварийного резервного электроснабжения ЦОД.

• Умное управление энергопотреблением. Современные системы управления собирают данные по энергопотреблению с серверов, стоек, распределительного оборудования, вплоть до того, что можно ести мониторинг каждой отдельной розетки. Можно найти периоды спада нагрузки и запланировать на это время техническое обслуживание. Анализ пиков потребления позволит держать запас мощности в пределах 10-15% вместо 30-40% при ручном управлении.

• ЦОД высокой готовности. Такой подход предлагает, например, Schneider Electric. Обеспечивается единый комплексный подход к созданию инженерной инфраструктуры на базе фирменной архитектуры InfraStruXure и взаимная совместимость компонентов на физическом уровне.

• Модульная инженерная инфраструктура ЦОД. Реализована, например, в комплексном решении Delta InfraSuite: можно наращивать мощность ЦОД, постепенно добавляя необходимое оборудование: стойки, системы охлаждения, кабинеты и блоки распределения электропитания, контрольные и распределительные блоки и т.д.

• Программно определяемое электропитание (SD-Power). Речь идет о формировании уровня абстракции, который позволяет эффективно управлять имеющимися ресурсами электропитания в интересах конечных «пользователей» - устройств.

Собственные решения «программной определяемости» электропитания предлагают все ведущие вендоры. Например, решение Power System Manager – один из программных модулей DCIM-комплекса Trellis Enterprise компании Vertiv – способен анализировать энергопотребление как ИТ-, так и инженерного оборудования, формируя отчеты и рекомендации по планированию электропитания ЦОДа. Это решение «умеет» предсказывать возможные узкие места, перегруженные и недогруженные стойки, прогнозировать состояние системы электропитания.

ПО Intelligent Power Manager Компания Eaton разработа инструментарий контроля и управления различными устройствами питания в физических и виртуальных средах. Приложение обеспечивает непрерывность бизнес-процессов и гарантирует бесперебойную работу ИТ-оборудования. А Schneider Electric развивает решения для Smart Grid, призванные объединить объекты, различающиеся по типу потребления, уровню потребляемой мощности и возможностям динамического перераспределения мощностей. ЦОД как энергоемкий объект будет одним из ключевых звеньев этой цепи.

BIM

Использование BIM-технологий при строительстве ЦОДов обретает все большую популярность. Действительно, за счет того, что взаиморасположение инженерных систем можно просчитать до мелочей, количество коллизий при монтаже уменьшается в разы. Применение BIM также помогает контролировать ход строительных работ и расход материалов, что позволяет удержаться в рамках выделенного бюджета. Контроль за ходом работ в едином информационном пространстве становится гораздо проще.

Возможности информационного моделирования при создании инженерной инфраструктуры охватывают художественную визуализацию различных объектов: от деталей инженерных систем до застройки районов с реальным рельефом местности, а также 3D-модели объекта и работа с ней в режиме виртуальной реальности. Применение таких развитых инструментов объяснимо: натурные модели для ЦОД вряд ли возможны, математическое моделирование – единственный вариант для комплексного анализа таких объектов.

Важная составная часть этого инструментария – ПО CFD (Computational Fluid Dynamics), реализующее задачи вычислительной динамики текучих сред (жидкостей и газов). Оно применяется для моделирования и оценки эффективности массо- и теплообмена в ЦОДах.

CFD-модель для оценки эффективности массо- и теплообмена в ЦОД. Источник: Группа ICS

В процессе работы также создается полный трехмерный каталог всего оборудования ЦОД с визуальным отображением распределения температуры и воздушных потоков на уровне помещения и шкафов. Такая модель дает возможность владельцу ЦОД рационально размещать и своевременно заменять оборудование, оценивать влияние на температуру и окружающую среду различных сценариев расстановки, подачи электроэнергии, охлаждения и ограничений, а также заранее моделировать влияние каких-либо физических действий.

Трехмерная математическая модель физического центра обработки данных. Источник: Группа ICS

Энергомоделирование

Энергомоделирование (Building Energy Modeling, BEM) – это оценка комплексной энергоэффективности всех инженерных систем и конструктивных решений с помощью специализированного ПО. Благодаря инженерным расчетам можно оценить потребление энергии объектом в течение года и спрогнозировать окупаемость проектных решений.

BEM - это комплексное моделирование, в ходе которого создается тепловая карта ЦОД (распределение температур по объему), определяются показатели эффективности энергопотребления ЦОД, а также обеспечивается возможность выбрать оптимальные решения по охлаждению серверной комнаты, оптимизации воздушных потоков в машинных залах ЦОД.

Моделирование типового решения охлаждения дизельного источника бесперебойного питания (ДИБП) установленного в ЦОДе. Источник: компания «ММ-Технологии»

Использование потенциала наружного воздуха при охлаждении дата центров – одно из перспективных энергоэффективных решений. Однако конкретный показатель эффективности существенно зависит от правильной конфигурации камеры смешения. При неудачной конфигурации камеры температура смешения воздуха, полученная проектировщиком по алгебраической формуле, не будет наблюдаться в реальности. Скажем, в зимнее время теплый рециркуляционный воздух вместо того, чтобы смешиваться с наружным, может уходить на улицу, а в камеру смешения поступать избыточное количество уличного воздуха.

Анализ, выполненный методами математического моделирования, позволит проанализировать фактическую картину распространения воздушных поток в камере смешения, и в случае необходимости разработать модификацию камеры смешения.

Численное моделирование камеры смешения системы поддержания микроклимата Data-центра. Источник: компания «ММ-Технологии»

Энергетическое моделирование ЦОД помогает выбрать наиболее энергоэффективный способ охлаждения Data-центра, подобрать оптимальную комплектацию кондиционеров, а также получить более точную оценку OPEX ЦОДа, ведь она во многом определяется затратами на энергоресурсы.

Балансовое моделирование охлаждения машинного зала в дата-центре. Источник: компания «ММ-Технологии»

... В стародавние времена человеческие поселения размещались на берегах больших рек и морей. Реки были основными транспортными артериями, по которым перемещались большие грузы и люди. В цифровой век на тех же самых берегах появляются центры обработки данных, в которых перемещаются информационные «грузы» и осуществляются виртуальные человеческие коммуникации. Природа вечна, а технический прогресс быстротечен. Может быть, пройдет несколько десятков лет, и сказки для малышей будут начинаться так: на берегу синего-пресинего моря стоял зеленый-презеленый ЦОД, и жили в нем маленькие дружные виртуальные контейнеры...