Суперкомпьютер JURECA в Юлихе поднялся с 80 на 29 место в рейтинге Топ-500

20 мая 2015 года стало известно о планах компании «Т-Платформы» в проекте создания суперкомпьютера для вычислительного центра Forschungszentrum Jülich GmbH в Германии^[1].

Задачи проекта

Согласно заявлениям для прессы, будущий суперкомпьютер может превзойти по показателю пиковой производительности СК «Ломоносов» запущенный в 2009 году в Вычислительном центре МГУ.

Компания «Т-Платформы» поставит суперкомпьютер вычислительному центру города Юлиха (Германия). Сумма сделки €17 млн, 10% от которых получит ParTec – германский разработчик программного обеспечения, управляющего суперкомпьютером.

Наименование продукта поставки - JURECA. Под этим названием действует поколение многопользовательских кластеров стандартной архитектуры, ресурсы которых Юлих предоставляет научным коллективам Германии. Система придет на смену кластеру JUROPA, созданному в 2009 году французской компанией Bull. Предполагается, что JURECA превзойдет уровень производительности JUROPA в шесть раз^[2].

В составе вычислительных узлов с 12-ядерными процессорами Xeon E5-2680 v3 на архитектуре Haswell и 128 ГБ памяти DDR4, в JURECA будут созданы узлы с увеличенным объемом памяти - до 256 и 512 ГБ, выделенные узлы загрузки и пост-процессинга, узлы визуализации с ускорителями Nvidia K40 и памятью до 2 ТБ.

В качестве интерконнекта в JURECA используется технология EDR InfiniBand пропускной способностью 100 Гбит/с. Управление системой реализовано посредством CentOS Linux и комбинации управляющего ПО ParaStation Cluster Tools от немецкого партнера суперкомпьютерного центра Юлих — компании ParTec и инструментов Clustrx от «Т-Платформы».

Пиковая производительность компьютера составит 1,8 PFLOPS с возможностью увеличения на 0,4 PFLOPS для некоторых приложений (стоить €518 тыс. дополнительно). Компьютер будет состоять из 1700 вычислительных узлов.

Для компании «Т-Платформы» это первая зарубежная поставка такого масштаба. Таким образом, по своей пиковой мощности будущий суперкомпьютер в Юлихе превзойдет запущенный в 2009 году «Ломоносов» (1,7 PFLOPS), но уступит «Ломоносову-2» с пиковой мощностью 2,57 PFLOPS, запущенному в 2014 году.

Мощности суперкомпьютера понадобятся ученым Германии для моделирования различных процессов: суперкомпьютерный центр обслуживает исследовательский центр в Юлихе, специализирующийся на естественных науках. Исследователи всего мира могут арендовать вычислительные мощности суперкомпьютера Юлиха.

Проект установки СК JURECA завершен

18 ноября 2015 года компания «Т-Платформы» объявила о запуске в эксплуатацию суперкомпьютера JURECA в германском Суперкомпьютерном центре Юлих^[3].

JURECA (2015)

Она заняла 49-ю строку в 46-й редакции мирового суперкомпьютерного рейтинга TOP500, показав уровень эффективности 84% в тесте Linpack.

JURECA — первая крупномасштабная зарубежная вычислительная система, созданная на российском оборудовании. Пиковая производительность системы, с учетом узлов с ускорителями ~ 2,2 петафлопс. СК JURECA - замена многопользовательскому кластеру JUROPA производства французской компании Bull. Система JURECA превзошла "француза" по производительности в 10 раз при снижении энергопотребления на 30%.

Система предоставит вычислительные ресурсы для исследовательских проектов в области физики элементарных частиц, биофизики, физики конденсированных сред, изучения Земли и природной среды, материаловедения, астрофизики, гидродинамики. Одной из крупнейших задач станет анализ больших объемов данных в рамках проекта по исследованию человеческого мозга, объединяющего специалистов из 23 стран. Амбициозная цель этого проекта — создание виртуальной модели работы мозга в целом, учитывающей работу генетических механизмов, процессы молекулярного уровня и взаимодействие нейронных кластеров. Создание и обработка такой модели, интегрирующей накопленные по всему миру знания о работе человеческого мозга, требует вычислительных ресурсов, значительно превосходящих современные суперкомпьютеры.

В составе новой системы – 34 стойки с водяным охлаждением, содержащие 1872 вычислительных узла с 12-ядерными процессорами Intel Xeon E5-2680v3, ускорителями NVIDIA Tesla K80 и K40 в составе блейд-систем «Т-Платформы» V-Class, разработанных в России. Суперкомпьютерные узлы шести различных типов объединены скоростным интерконнектом нового поколения EDR InfiniBand от компании Mellanox: на текущий момент JURECA – самый крупный суперкомпьютер на базе этой новой технологии. Энергопотребление суперкомпьютера составило около 1 МВт.

Система работает под управлением CentOS Linux и использует комбинацию управляющего ПО ParaStation Cluster Tools немецкого разработчика ParTec и инструментов Clustrx от «Т-Платформы». Инструменты ParaStation TicketSuite и HealthChecker обеспечивают мониторинг системы и гарантируют стабильность ее работы, а высокомасштабируемая реализация библиотеки MPI обеспечивает более эффективное выполнение параллельных вычислительных задач.

Прыжок вверх на 51 позицию в рейтинге Топ-500

Суперкомпьютер JURECA, созданный российской компанией «Т-платформы» и работающий в немецком суперкомпьютерном центре в Юлихе, поднялся на 29 место в 50 рейтинге Топ-500 самых мощных вычислительных систем мира, который был опубликован в ноябре 2017 года. Для сравнения, в 49 рейтинге, обнародованном в июне 2017 года, JURECA занимал только 80 место.

Суперкомпьютер JURECA в исследовательском центре в Юлихе

По утверждению разработчиков, суперкомпьютер — в тройке мощнейших вычислительных систем Германии. В тесте производительности Linpack система продемонстрировала производительность 3,78 PFlop/s при пиковой производительности в 6,56 PFlop/s.

Как пояснили CNews в «Т-платформах», столь ощутимый скачок вверх в рейтинге Топ-500 обусловлен оснащением суперкомпьютера JURECA в 2017 году ускорителем, или бустером. Он представляет собой отдельную систему, в которой используются ускорители Intel Phi 7250-F и интерконнект Intel Omnipath. Аппаратные платформы были созданы Intel, а интеграционными работами занималась компания Dell.

Как результат, стало возможным объединить в одну систему кластер на стандартной процессорной архитектуре с интерконнектом InfiniBand, а именно — JURECA и бустер на Intel Phi 7250-F и Omnipath. Это позволило кластеру и ускорителю обмениваться данными, таким образом, вся система может работать над выполнением одной общей задачи.

Проект по объединению систем реализован при участии Intel, автор концепции — директор суперкомпьютерного центра Юлиха Томас Липперт (Thomas Lippert).

Как пояснили в «Т-платформах», подобное объединение представляло собой технически непростую задачу. Основная проблема состояла в несовместимости интерконнектов, что не позволяло организовать обмен данными. Однако при запуске теста Linpack на обоих компонентах системы специалисты из Юлиха получили результат в 3,78 PFlop/s. Предполагалось, что суммарная мощность кластера и бустера составит около 6,5 PFlop/s. Таким образом, полученный на практике результат составил порядка 60% от теоретического максимума.^[4]

Примечания