Три кита инженерной инфраструктуры ЦОДа

ЦОД высокого уровня надежности – сложнейший объект, для жизнедеятельности которого требуется слаженная работа систем энергоснабжения, охлаждения и кондиционирования, диспетчеризации и мониторинга. О новых достижениях конструкторской мысли в этих областях речь шла на 9-й международной конференции «ЦОД–2014», организованной журналом «ИКС».

Гибкость и еще раз гибкость

Масштабируемость системы энергоснабжения дата-центра обеспечивает возможность его развития в будущем. Поэтому неудивительно, что для источников бесперебойного электропитания высокой мощности, а именно такие и требуются сегодня ЦОДам, модульная архитектура де-факто стала стандартом.

Весьма показателен в этом смысле трехфазный статический ИБП Trinergy Cubе, в котором конструкторы компании Emerson Network Power воплотили идею трехмерной модульности. Модульность по горизонтали означает масштабирование одной системы от 300 кВт до 3 МВт, достигаемое путем добавления силовых модулей. Вертикальная модульность – это возможность замены одного из таких модулей без остановки работы системы в целом. И, наконец, ортогональная модульность позволяет параллельно подключать до восьми систем, наращивая суммарную мощность до 24 МВт. Так что эпитет Cube присутствует в названии этой системы не только потому, что она является третьей старшей моделью в семействе трехфазных систем бесперебойного питания Trinergy, но и в силу ее трехмерной модульности. К слову, динамических режимов, в которых работает этот ИБП, тоже три. Помимо стандартного режима двойного преобразования (VFI), система, проанализировав параметры питающей сети, может переключиться либо в режим экономии электроэнергии (VFD), в котором она работает с эффективностью более 99%, либо в режим VI, в котором высокий КПД (98,5%) сочетается со стабилизацией характеристик напряжения.

В отличие от появившихся несколькими годами раньше младших моделей, Trinergy Cube способна адаптироваться к температуре окружающей среды. Так, при температуре +40С°, при которой все системы Emerson сертифицированы на базовую минимальную мощность, производительность одного силового модуля составляет 250 кВА, а при снижении температуры до +20–25С° с силового модуля можно снять до 400 кВА. Тем самым, гарантировав определенный диапазон температур, на базе Trinergy Cube можно построить компактное решение. Для того чтобы предложить проектировщикам и цодостроителям систему на вырост, ее центральный коммутационный модуль тоже был наделен способностью перенастройки мощности. Собрать ИБП, чьи характеристики отвечают сегодняшним потребностям дата-центров и могут наращиваться в будущем по принципу конструктора Лего, позволяет специальный конфигуратор.

Экономить площади, отведенные в ЦОДах под системы бесперебойного питания, дают возможность и трехфазные ИБП серии TLE компании General Electric. Благодаря тому, что для технического обслуживания этих систем достаточно иметь к ним фронтальный доступ, их можно размещать компактно – стенка к стенке. В линейку TLE входят устройства мощностью 160–800 кВА, причем источники мощностью 600 и 800 кВА появились на рынке в 2014 г. Наращивать мощность построенной с использованием ИБП GE системы энергоснабжения позволяет их архитектура, обеспечивающая параллельное подключение до шести устройств. В режиме двойного преобразования коэффициент полезного действия этих ИБП равен 96,5%, а в экономичном режиме eBoost – 99%.

Источники бесперебойного питания серии TLE были положены конструкторами GE в основу контейнерного центра обработки данных – Power MOD. Это решение под ключ собирается в соответствии с международными стандартами 10 ft”/20 ft”/40 ft”. Помимо ИБП TLE мощностью 200 кВА/400 кВА/2 Ч 400 кВА/3 Ч 400 кВА, оно включает в себя аккумуляторные батареи типа VRLA, входные/выходные разъемы, внешний сервисный байпас, системы охлаждения и системы удаленного мониторинга. Опционально предлагаются системы пожаротушения, контроля доступа и камеры видеонаблюдения. Несмотря на свою новизну, эти контейнерные ЦОДы уже использовались на недавней зимней Олимпиаде для резервирования электропитания на пяти станциях РЖД, в аэропорту Адлера, а также на главном железнодорожном вокзале Сочи. Дополнительные гибкость и экономичность системе электроснабжения ЦОДа может придать перевод объекта на питание постоянным током высокого напряжения (400 В). Преимущества использования систем постоянного тока в ЦОДах очевидны. Число преобразований электрического тока в таких системах меньше, а значит, меньше и потери электроэнергии. Благодаря простоте их конструкции (например, в них нет инверторов, способных выходить из строя), совокупная стоимость владения (ТСО) системами постоянного тока невысока по сравнению с классическими трехфазными ИБП. Сегодня для реализации подобного подхода доступен весь спектр необходимого оборудования, начиная с собственно систем электропитания постоянного тока и заканчивая устройствами для распределения тока и коннекторами. Поддерживают этот тренд и многие поставщики ИТ-оборудования: HP, IBM (отдельные линейки серверов), Juniper, Huawei. Марек Шпек, менеджер по развитию бизнеса Emerson Network Power в регионе EMEA, в ряду поставщиков систем электропитания постоянного тока, помимо Emerson, назвал также ABB, Eltek и Delta, отметив, что у последнего оборудование пока находится в стадии опытной разработки.

Сама компания Emerson Network Power, чьи коммерческие системы постоянного тока 400 В мощностью 30 кВт активно тестируются операторами связи во всем мире, а в Японии эксплуатируются оператором связи NTT DoCoMo, выпустила в этом году еще одну, самую мощную модель NetSure 9500. Построенная на патентованных выпрямителях собственной разработки эта система питания высоковольтным постоянным током имеет модульную конструкцию, позволяющую использовать различные конфигурации развертывания и масштабировать ее, избегая простоя мощностей и рабочих площадей. Она включает в себя модуль питания с секциями преобразования мощности (в зависимости от требуемой мощности он может объединять от восьми до 15 выпрямителей), управления и распределения питания, модуль для расширенного распределения нагрузки и аккумуляторный шкаф, содержащий группу батарей VRLA. Возможность «горячей» замены выпрямителей и элементов управления этой системой сокращает время простоя.

Ключевое звено любого ИБП – это аккумуляторные батареи, убежден Дмитрий Коваленко, директор по продажам FIAMM Industrial RUS Ltd. Стандарт TIA-92 рекомендует применять в ЦОДах герметичные необслуживаемые аккумуляторы, изготовленные по технологии VRLA, – свинцово-кислотные герметизированные батареи с регулирующими клапанами. Такие аккумуляторы относительно дешевы и при соблюдении условий эксплуатации достаточно надежны.

Вместе с тем, как отмечает Д. Коваленко, существенный недостаток свинцово-кислотных герметизированных батарей – сокращение срока службы в случае нарушения условий эксплуатации, например, при несоблюдении температурного режима в помещении, высоком или низком уровне напряжения заряда, перезаряде и превышении рабочего цикла, в случае производственных дефектов и ошибках при хранении и вводе в эксплуатацию, а также неоднородности показателей отдельных элементов в цепи.

В качестве альтернативы батареям VRLA могут рассматриваться высокотемпературные никель-солевые аккумуляторы. Они сохраняют свои эксплуатационные характеристики в диапазоне от -40С° до +65С° и не требуют размещения в кондиционированных помещениях, имеют высокую удельную энергоемкость (более 90 Вт • ч/кг), на 70% легче и на 30% компактнее свинцово-кислотных аккумуляторов. Поскольку никель-солевые батареи можно в любом количестве подключать параллельно, наращивая их емкость, они могут стать основой для построения модульных решений. Кроме того, несмотря на то что такие аккумуляторы полностью необслуживаемые, в них встраиваются коммуникационные порты для удаленного мониторинга.

Если говорить, к примеру, о никель-солевых АКБ FIAMM SoNick, то они оснащаются активной системой BMS, которая управляет температурой внутри батареи и процессом ее заряда, осуществляет проверку входных/выходных электрических параметров, отключает АКБ при достижении предельных рабочих параметров во избежание выхода из строя, а также генерирует аварийные сигналы. Понятно, что стоимость таких интеллектуальных и высокотехнологичных батарей в несколько раз выше, чем традиционных VRLA, однако, как утверждает Д. Коваленко, их применение позволяет экономить за счет отказа от кондиционирования помещения аккумуляторной и удлинения срока службы АКБ. А кроме того, никель-солевые батареи компактные и занимают в ЦОДе площадь в три раза меньшую, чем свинцово-кислотные батареи той же емкости.

Вопрос выбора стратегии

Совершенно отдельная статья расходов при построении дата-центров – кабельная инфраструктура. Сегодня многие цодостроители уже делают выбор в пользу высокоскоростной передачи трафика – 40 и 100 Гбит/с, отмечает Кеван Спростон, менеджер по продуктам подразделения стратегических технологий компании Brand-Rex. Этому способствуют такие факторы, как проникновение в корпоративную сферу мобильных решений, виртуализация десктопов и приложений и консьюмеризация, предполагающая, что сотрудники компаний хотят иметь доступ к корпоративным данным на столь же высоких скоростях, как и в домашних условиях. И если десять лет назад специалисты говорили об отсутствии приложений, для пользования которыми требуется передача данных со скоростью 1 Гбит/с, то сейчас и 40 Гбит/с никого не удивляют.

Поскольку срок жизни кабельной инфраструктуры довольно большой (эксперт оценил его в девять лет), возникает соблазн переходить на более высокие категории медных кабелей. Однако надо понимать, что уже через пять-семь лет на рынок выйдут новые, еще более эффективные решения, и тогда понадобится модернизировать СКС. Например, сегодня сеть 10 Гбит/с, построенная на кабеле категории 6А, стоит дешевле, чем та, в которой используется витая пара категории 7 или 7А. Но вскоре ожидается появление кабеля категории 8, позволяющего сразу развернуть сеть со скоростью передачи данных 40 Гбит/с. Инвестиции в кабельную инфраструктуру отличаются длительным сроком окупаемости, а потому имеет смысл выбирать для ЦОДов самые современные категории кабеля.

Предупрежден – значит, оповещен

На стенде ГК "Пожтехника"«Электрическое хозяйство», а, точнее, проблемы в нем, не очень часто, но становятся причиной пожара. При этом концентрация дыма в серверной стойке может в течение нескольких дней оставаться небольшой, не выше 0,01%. Обнаружить такое задымление, признает Игорь Неплохов, технический директор по ПС ГК «Пожтехника», непросто, поскольку воздушные потоки, поднимаемые в ЦОДе системой кондиционирования, препятствуют накоплению дыма под перекрытием. Так что дымовые извещатели, которые устанавливаются под потолком, предупредить о возникновении задымления могут только при отключенной системе вентиляции, а такое бывает нечасто.

Как показали испытания, проведенные компанией «Пожтехника», для того чтобы отреагировать на зажженную дымовую шашку, таким устройствам требуется более 220 с. В качестве альтернативы им компания рекомендует использовать в дата-центрах новые лазерные аспирационные извещатели семейства VESDA, показавшие намного лучшие результаты. Для защиты небольших помещений (до 100 кв. м) служит аспирационный извещатель VESDA VLQ, который устанавливается на перекрытиях. В более просторных машинных залах эффективней будет старшая модель VESDA E, один блок которой имеет 120 адресных трубок для улавливания дыма.

Применение современных средств раннего обнаружения пожара в ЦОДе чрезвычайно важно, считает эксперт. Оно позволяет избежать как прямого ущерба от потери данных и утраты оборудования, так и косвенного – от простоя объекта, нарушения условий договора с заказчиками, снижения эффективности.

Как показали испытания, проведенные компанией «Пожтехника», для того чтобы отреагировать на зажженную дымовую шашку, таким устройствам требуется более 220 с. В качестве альтернативы им компания рекомендует использовать в дата-центрах новые лазерные аспирационные извещатели семейства VESDA, показавшие намного лучшие результаты. Для защиты небольших помещений (до 100 кв. м) служит аспирационный извещатель VESDA VLQ, который устанавливается на перекрытиях. В более просторных машинных залах эффективней будет старшая модель VESDA E, один блок которой имеет 120 адресных трубок для улавливания дыма.

Применение современных средств раннего обнаружения пожара в ЦОДе чрезвычайно важно, считает эксперт. Оно позволяет избежать как прямого ущерба от потери данных и утраты оборудования, так и косвенного – от простоя объекта, нарушения условий договора с заказчиками, снижения эффективности.

Адиабатическое охлаждение в тренде

Поскольку борьбу за повышение энергоэффективности дата-центров никто не отменял, а, напротив, согласно требованиям закона № 261-ФЗ, к 2020 г. эффективность потребления электроэнергии в стране должна вырасти на 40%, в качестве резерва экономии электроэнергии все чаще рассматриваются системы охлаждения и кондиционирования. И это неудивительно: эксперты оценивают их долю в общем энергопотреблении ЦОДа в 35–45%.

Между тем в действующих на Западе ЦОДах, собственники и проектировщики которых никогда не отказываются от возможности сэкономить и всегда считают деньги, все чаще в сочетании с фрикулингом (естественным охлаждением) используется охлаждение тонко распыленной водой – адиабатическое. Сегодня этот способ, который, если верить данным из открытых источников, обеспечивает некоторым объектам 95%-ную экономию энергозатрат на системы охлаждения, начинают брать на вооружение российские цодостроители. Примером может служить компания DataPro, применившая такой подход в своем ЦОДе в Москве.

О том, что «процесс пошел», говорит и появление на российском рынке оборудования, в котором как функция или как опция присутствует адиабатическое охлаждение, причем сразу у нескольких мировых поставщиков таких систем.

Так, компания STULZ предлагает модульную систему охлаждения высокой плотности для наружной установки CyberCon. Заключенная в отдельный контейнер эта система может устанавливаться в верхней части помещения или контейнера с ИТ-оборудованием и поддерживает четыре режима работы: естественного охлаждения, адиабатического естественного охлаждения, смешанный и DX-режим.

Когда температура наружного воздуха находится в пределах между заданной температурой приточного воздуха и температурой защиты от замерзания, открывается заслонка наружного воздуха, воздух поступает через фильтр в установку, а оттуда в ЦОД. При понижении температуры наружного воздуха или уменьшении термической нагрузки открываются заслонки рециркулирующего и наружного воздуха, в результате их смешения поддерживается нужная температура притока. Организованное таким образом естественное охлаждение позволяет экономить до 80% электроэнергии. Если же температура наружного воздуха выше заданного значения температуры притока, в дело вступает адиабатический охладитель. Он остужает наружный воздух до требуемой температуры, после чего открывается заслонка наружного воздуха и система возвращается в режим естественного охлаждения. И в том, и в другом случае компрессор установки остается выключенным. Он включается для поддержки естественного охлаждения в смешанном режиме, необходимость в котором возникает при дальнейшем увеличении температуры наружного воздуха. В этом случае компрессор работает в режиме частичной загрузки. И, наконец, если температура наружного воздуха выше допустимой при смешанном режиме, заслонки наружного воздуха закрываются, и CyberCon полностью переходит в компрессорный DX-режим.

Таким образом, применение в этой установке адиабатического охлаждения позволяет расширить диапазон температур для использования фрикулинга, повышает ее энергоэффективность, а попутно и регулирует влажность воздуха на объекте.

Компания Emerson весной этого года представила несколько новинок. Об одной из них – высокоэффективном модуле косвенного воздушного фрикулинга с функцией адиабатического охлаждения Liebert EFC поговорим подробнее. Оснащенная EC-вентиляторами с низким энергопотреблением и уровнем шума, под управлением специального контроллера iCOM, эта система способна работать в четырех режимах. В российских условиях максимальное использование каждого из этих режимов приходится на определенное время года. Так, зимой основная нагрузка ложится на вентиляторы и контроллер (режим DX), весной и осенью модуль работает в режиме фрикулинга, летом при температуре выше 20C° и низкой влажности воздуха к нему добавляется адиабатическое охлаждение. В случае пиковых нагрузок – высокой температуры воздуха – система переходит в смешанный режим (так называемый режим механического бэкапа).

Собственная концепция сезонной работы есть и у компании NordVent, воплотившей ее в корпусном воздушном адиабатическом кондиционере Mirage, предназначенном для охлаждения ЦОДов. При полной потребляемой электрической мощности 11,2 кВт холодопроизводительность кондиционера составляет 100–120 кВт, благодаря тому что он построен по принципу непрямого свободного охлаждения, которое в сочетании с непрямым адиабатическим охлаждением на протяжении большей части года используется для рассеивания производимого дата-центром тепла. Его разработчики руководствовались рекомендациями ASHRAE 2011, допускающими повышение температуры приточного воздуха до 27С°. Работающая три из четырех сезонов в году адиабатическая система кондиционера состоит из набора трехсоставных форсунок высококачественной стали, устойчивых к деминерализованной воде. В процессе непрямого адиабатического охлаждения вода тонко, по принципу пустого конуса, распыляется на стороне вытяжки, охлаждая воздух, который затем попадает для теплообмена в пластинчатый рекуператор, сертифицированный EuroVent. Коррозионная устойчивость последнего обеспечивается эпоксидным покрытием.

Совет со стороны

В условиях конкурентной борьбы ведущих мировых поставщиков климатических систем, чьи решения поддерживают одни и те же технологии и имеют сходные технические характеристики, выбор оборудования для владельцев строящихся ЦОДов все более усложняется. И тут вполне уместны рекомендации участников процесса, не заинтересованных в продвижении конкретного решения определенного вендора, – проектировщиков.

Так, Максим Сохань, гендиректор компании «АМДтехнологии», считает, что начинать нужно с конкурса концепций схемного решения объекта. На российском рынке таких конкурсов практически не бывает, а между тем именно на этом этапе есть возможность сэкономить, причем значительно больше, чем при проведении конкурса на выбор поставщика основного оборудования. По опыту компании «АМДтехнологии», на этом этапе можно уменьшить капитальные затраты практически наполовину. Вторая рекомендация эксперта касается выбора изготовителя и поставщика оборудования. На этом этапе он предлагает ответить на вопрос, насколько продукты одного, двух, а лучше, пяти поставщиков будут отвечать поставленным задачам. При этом обращать внимание нужно не только на характеристики оборудования, но и на наличие в России сервисных центров и складов ЗИПа, организацию технической поддержки. Что касается цены, то опыт проектировщиков показывает, что выбор не самого дешевого, но энергоэффективного оборудования позволяет за счет экономии окупить затраты на его приобретение в течение года.

«Деление вендоров на дешевых и дорогих – это сказка, – соглашается с ним Виктор Гаврилов, технический директор «АМДтехнологии», – у каждого из них есть разные линейки оборудования, техническое сравнение которых позволяет оптимизировать стоимость, «войти» в бюджет и получить решение, максимально эффективное как с точки зрения затрат, так и с точки зрения эксплуатации». Именно такой подход Виктор использовал при выборе оборудования для проектирования и построения системы прямого охлаждения суперкомпьютера производительностью 10 петафлопс для МГУ им. М.В. Ломоносова.

От систем мониторинга к...

Для согласованной работы всех инженерных систем дата-центра служба эксплуатации этого сложного объекта должна иметь возможность удаленно получать информацию о состоянии и рабочих параметрах любого входящего в их состав компонента. Как признают эксперты, системы мониторинга уже внедрились в российские ЦОДы. И следующим шагом должно стать их более глубокое проникновение – в шкафы конечного распределения электроэнергии. Зачем это нужно? Для удаленного управления включением/выключением автоматов, учета энергопотребления, мониторинга распределения электроэнергии на объекте, считает Константин Харинов, менеджер по продукции Schneider Electric. Решить эти задачи можно, установив в щите электропитания шину Acti 9 SmartLink. Этот интерфейсный модуль особого типа предлагается в двух версиях: Modbus и Ethernet. В первом случае в нем имеется 11 цифровых входов для подключения к аппаратуре и электрическим счетчикам, а также встроенный разъем Modbus RS485 и питание 24 В постоянного тока. Вторая версия устройства отличается от первой наличием семи цифровых входов и одного аналогового порта, а также разъема Ethernet RJ45. С помощью любой из версий служба эксплуатации получает доступ к широкому ряду полезных функций. В их числе – мониторинг аппаратов защиты, управление включением/выключением, в том числе удаленное, запись суммарного потребления и оценка потребляемой мощности. Все данные сохраняются в памяти устройства даже в случае отказа электропитания. В ЦОДах эта шина используется для мониторинга электропотребления и для подключения измерительной аппаратуры. Доля проектов по внедрению Acti 9 SmartLink в дата-центрах у Schneider Electric составляет около 30%.

Средства мониторинга параметров внутри каждого шкафа и серверной в целом предлагает и компания Raritan. В ее портфеле три типа устройств распределения электропитания: базовые и измерительные PDU, PDU с функцией управления питанием и инновационные PDU. Первые позволяют измерять в стойке температуру, влажность, ток, напряжение и коэффициент мощности. Вторые могут быть взяты за основу при выработке долгосрочной стратегии снижения энергопотребления в ЦОДе, поскольку позволяют реализовать сразу несколько полезных сценариев. Например, выявить сервер – кандидат на выведение из эксплуатации или на виртуализацию или определить интервалы времени, в течение которых продуктивные серверы оказываются не загруженными, и пересмотреть режим их охлаждения. Инновационные устройства распределения имеют USB-порт, Wi-Fi и веб-камеру. Кроме того, в них встраиваются порты для датчиков, показания которых позволяют создать в стойках оптимальную среду.

Казалось бы, от внедрения в дата-центрах средств мониторинга – прямой путь к системам более высокого уровня, DCIM (Data Center Information Manager), однако Александр Ласый, заместитель директора департамента интеллектуальных зданий компании КРОК, назвал DCIM самой скользкой темой в цодостроении, поскольку поставщикам таких систем до сих пор не удается убедить заказчиков в их необходимости. «Действительно, – соглашается с ним Андрей Ивашов, руководитель по развитию бизнеса Schneider Electric, – долгое время не было единого подхода к тому, как продвигать такие системы. К тому же интеграция ИТ- и инженерных служб оставалась достаточно слабой, однако в последнее время к интерес к таким системам наметился». Его стимулируют системные интеграторы, которые выступают союзниками вендоров. Так, Schneider Electric продвигает свои решения в партнерстве с интеграторским подразделением компании HP – HP Converged Management Consulting Services, которое предлагает применять к внедрению DCIM-систем методологию ITIL.

При этом надо понимать, что потребности заказчиков из разных индустрий тоже не одинаковы. Например, провайдерам сервисов colocation для формирования ценовых предложений клиентам и снижения стоимости эксплуатации объекта нужно знать особенности энергопотребления каждой стойки в ЦОДе. Банки, построившие отказоустойчивые дата-центры с функцией мониторинга, все чаще начинают интересоваться TCO, а DCIM-система дает информацию о том, в какой стойке какое оборудование размещено и по какой схеме зарезервировано (если схема 2N, то стоимость его эксплуатации в два раза выше). Спроецировав получившуюся стоимость на приложение, заказчик сможет решить, продолжить ли его использование или отказаться от него в пользу услуги из облака.

По мере роста потребности в такой аналитике будет расти и внедрение систем DCIM, что позволит поднять качество всех компонентов инженерной инфраструктуры и их взаимоувязанность на принципиально новый уровень – сделать ее простой, логичной и со всех точек зрения эффективной.