Инженерная инфраструктура для нового суперкомпьютера от «АМДтехнологий»
И поэтому инженерная инфраструктура, построенная компанией ≪АМДтехнологии≫ для нового суперкомпьютера производительностью 10 Пфлопс в втором учебном корпусе МГУ им. М.В. Ломоносова, вполне заслуженно удостоилась специальной презентации-экскурсии. Как отметил генеральный директор компании ≪АМДтехнологии≫ Максим Сохань, проект создания этой инженерной инфраструктуры потребовал разработки принципиально новых технических решений и преодоления самых разных трудностей, в том числе жестких ограничений на энергопотребление всех систем и занимаемое ими пространство, так что опыт, полученный компанией, безусловно будет интересен всем участникам рынка цодостроения, причем не только российского, но и мирового.
Сам суперкомпьютер ≪Ломоносов≫ был построен компанией ≪Т-Платформы≫ и запущен в эксплуатацию в 2009 г.
Со своей тогдашней производительностью 510 ТФлопс (FLOPS - количество операций с плавающей запятой, выполняемых за секунду) он занял 12-е место в известном рейтинге самых высокопроизводительных суперкомпьютеров Top500. Сейчас после двух модернизаций его пиковая производительность составляет 1,7 Пфлопс. Но развитие суперкомпьютерной инфраструктуры МГУ продолжается, и сейчас идут работы по построению компьютера с пиковой производительностью 10 Пфлопс. Как рассказал директор по продуктам и технологиям компании «Т-Платформы» Игорь Глухов, строится она на базе новых компьютерных систем А-Class с производительностью 515 Тфлопс, содержащих в одном стоечном шасси 256 вычислительных узлов (один узел - это процессор Intel Xeon E5-2600 v3 и ускоритель NVIDIA Tesla K40). Энергопотребление такой стойки составляет 130 кВт, а охлаждение осуществляется с помощью «горячей» воды (температура на входе +45°С, на выходе +50°С), которая подводится непосредственно к вычислительным узлам.
Охладить 10 Пфлопс
Понятно, что система жизнеобеспечения компьютера столь высокого уровня и такой архитектуры не может быть типовой. В этом проекте компания ≪АМДтехнологии≫ выполнила все работы по проектированию инженерной инфраструктуры, поставке и монтажу оборудования для систем энергоснабжения, отвода тепла, холодоснабжения, автоматического газового пожаротушения и мониторинга всех инженерных систем.
Если в традиционных дата-центрах энергопотребление стоек редко превышает 15-20 кВт, то в этом суперкомпьютере порядок величин совсем иной: в его машинных залах установлено 48 компьютерных стоек с энергопотреблением 121 кВт каждая и 16 стоек с энергопотреблением 154 кВт. Как рассказал технический директор компании ≪АМДтехнологии≫ Виктор Гаврилов, техническое задание на проектирование поставило перед разработчиками две задачи: организации отвода тепла непосредственно от супервычислителя, имеющего водяную систему охлаждения, и построения системы охлаждения для остального оборудования, обслуживающего суперкомпьютер (СХД, ИБП, вспомогательные серверные системы и др.). Это потребовало создания двух отдельных систем холодоснабжения: системы холодоснабжения прямого действия СХС-1 для отвода в атмосферу избыточного тепла, выделяемого процессорами вычислительных узлов, с использованием в качестве теплоносителя воды, подаваемой непосредственно в вычислительные конструктивы, и системы холодоснабжения компрессионного типа СХС-2 с традиционными чиллерами для отвода тепла, выделяемого ИТ-системами с воздушным охлаждением, агрегатами инженерной инфраструктуры и другим оборудованием. Система жидкостного охлаждения супервычислителя СХС-1 должна обеспечивать отвод тепла суммарной мощностью около 8 МВт и еще 1,8 МВт тепла, выделяемого управляющими серверами, СХД, коммутационным оборудованием и ИБП, приходится на систему воздушного охлаждения СХС-2.
Таким образом, суммарная холодопроизводительность разработанной системы составляет порядка 10 МВт, что соответствует параметрам довольно серьезного дата-центра. Причем в системе СХС-1 никакие холодильные машины не используются - только сухие градирни. Сейчас в системе установлено восемь сухих градирен производства Cabero мощностью 1 МВт каждая, еще две градирни будут установлены позднее при выводе системы на проектную мощность. Кроме того, в системе СХС-1 установлено пять промежуточных пластинчатых теплообменников общей мощностью 10 МВт и распределительные коллекторы.
Принципиальная схема охлаждения довольно проста: сухая градирня - циркуляционный насос - пластинчатый теплообменник - второй циркуляционный насос - контур охлаждения в стойках. В качестве теплоносителя в первичном контуре используется гликоль с температурой + 40 - 46°С, а во вторичном контуре в стойках супервычислителя - вода с температурой + 44 - 48°С. Как подчеркнул В. Гаврилов, разработанная компанией ≪АМДтехнологии≫ система может работать в Москве в режиме фрикулинга в течение всего года без использования адиабатического охлаждения (даже во время аномальной летней жары, когда температура воздуха достигала + 38,5°С).
Стимулы инженерного мышления
Несмотря на простую схему, сложностей при построении системы охлаждения было немало. Прежде всего необходимо было выполнить очень жесткие требования к чистоте и химическому составу воды, циркулирующей во вторичном контуре охлаждения. Поэтому в системе водоподготовки используется процесс обратного осмоса, а в воду добавляются ингибиторы, предотвращающие коррозию алюминиевых стенок теплообменника. Эти же требования к качеству воды не позволили использовать стальные трубопроводы, поэтому в системе установлены ПВХ- и ХПВХ-трубы большого диаметра, способные выдерживать давление 5-6 атм при температуре воды + 45 - 50oС. Кроме того, были серьезные ограничения по общему энергопотреблению инженерной инфраструктуры. Из-за этого, например, пришлось установить насосы с электродвигателями пониженной мощности, а это, в свою очередь, потребовало снижения скорости движения воды в трубопроводе и, соответственно, увеличения диаметра используемых труб. Аналогичная ситуация была с выбором сухих градирен: учитывались потребляемая мощность, площадь теплообмена, расход воздуха, производительность и цена.
Причем при выборе оборудования особое внимание уделялось его эксплуатационным характеристикам, поскольку компания ≪АМДтехнологии≫ не только устанавливает инженерную инфраструктуру для всех суперкомпьютеров производства ≪Т-Платформ≫, но и занимается ее сервисным обслуживанием.
Главной проблемой при разработке системы воздушного охлаждения СХС-2 производительностью порядка 1,8 МВт было ограниченное пространство. При стандартном ее исполнении для обеспечения заданного времени автономной работы в случае отключения электропитания и чиллеров нужно было бы установить три бака с водой емкостью 23 куб. м каждый. Однако баки таких размеров невозможно было бы вместить вместе с трубопроводами в выделенное для системы охлаждения подвальное помещение парковки. Поэтому проектировщики компании ≪АМДтехнологии≫ решили сократить объем баков до 8 куб.м, но при этом использовать их в качестве аккумуляторов холода. В нормальном режиме работы в таком баке находится вода с температурой +5°С. При отключении чиллеров контроллер подает сигнал на трехходовой клапан и начинается подмешивание этой холодной воды к воде с температурой +18°С, протекающей в обратном контуре теплообменников чиллеров, чтобы снизить ее температуру до ≪входного уровня≫ +12°С. Для организации такой схемы в дополнение к трем основным чиллерам системы охлаждения СХС-2 мощностью 900 кВт каждый потребовалось установить дополнительно два небольших чиллера по 50 кВт.
Пространственные ограничения также заставили проектировщиков заняться 3D-моделированием. В помещении нужно было сохранить уже имеющиеся коммуникации здания, разместить массу трубопроводов большого диаметра и шинопроводы системы электроснабжения и при этом не допустить никаких пересечений, поскольку что-либо менять на месте в процессе монтажа было невозможно: шинопроводы поставляются под заказ в точном соответствии с чертежами, один поворотный элемент трубопровода стоит очень дорого, срок поставки - 6 - 8 недель, так что заказать с запасом не позволяет бюджет, а времени на дополнительный заказ в случае ошибок не было. Единственный выход - использовать программу 3D-проектирования, которая теперь стала для ≪АМДтехнологий≫ рабочим инструментом.
В общем, по признанию разработчиков, этот проект сломал все стереотипы методов выбора оборудования и работы на объекте, он многое дал и многому научил. Проблемы и ограничения заставляли работать инженерную мысль буквально непрерывно, и ни на одном из этапов не случилось повторить наработки прошлых проектов. Уникальный суперкомпьютер получил уникальную инженерную инфраструктуру. Кстати, разработанная компанией ≪АМДтехнологии≫ инфраструктура позволяет масштабировать суперкомпьютер с увеличением его вычислительной мощности до 54 ПФлопс и тогда первое место в Тор500 будет у России.
