NVIDIA: от разработки GPU к комплексной ИИ-инфраструктуре для дата-центров.
Главные анонсы GTC 2021
Открывая 12 апреля ежегодную конференцию NVIDIA GTC, которая уже второй год подряд из-за пандемии прошла в онлайн-формате, генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) сделал ряд важных анонсов. Компания активно наращивает присутствие своих технологий во всех индустриях и на всех уровнях – от ПК до дата-центров и облаков. NVIDIA также продолжает демократизировать технологии искусственного интеллекта (ИИ), упрощая доступ к ним и удешевляя их использование как для отдельных исследователей, так и для больших компаний.
Содержание |
Собственный CPU для ИИ
Одним из ключевых анонсов конференции можно назвать первый собственный процессор CPU от NVIDIA, широкая доступность которого ожидается в 2023 году. Он получил название Grace в честь Грейс Хоппер (Grace Hopper), контр-адмирала ВМФ США, программиста, создательницы первого в мире компилятора языка программирования.
CPU Grace сочетает энергоэффективные ядра ARM с инновационной подсистемой памяти, чтобы обеспечить высокую производительность при низком потреблении энергии, что критически важно для построения суперпроизводительных систем нового поколения.
Gracе создан для использования в дата-центрах. В первую очередь он предназначен для наиболее сложных вычислений, включая обработку естественного языка, создание рекомендательных систем и построение суперкомпьютерных центров для ИИ. Все эти задачи связаны с анализом огромных массивов данных, требующих сверхбыстрых вычислений и большого объема памяти.
К примеру, Grace подходит для обучения моделей следующего поколения по распознаванию естественной речи, в которых содержится более 1 триллиона параметров.
В компании также отметили, что процессор Grace был построен для использования в крупных системах, предназначенных для работы с новым типом программного обеспечения – управляемого данными (data-driven).
 | Мы создаем Grace для работы с новым видом приложений, связанных с пониманием естественной речи, ИИ-моделями, рекомендательными системами, которые обрабатывают сотни петабайт данных, а также для управляемых данными научных вычислений, - говорит гендиректор NVIDIA. – Появляется все больше таких приложений, это новый сегмент. Мы ожидаем увидеть здесь большой скачок. Таким образом, Grace будет очень полезным для отрасли. |  |
В NVIDIA добавляют, что архитектура Grace «совершенно уникальная», не похожая ни на что ранее созданное. Новый процессор решает проблему, которая ранее не существовала.
| | Логично представить, что процессоры CPU и системные архитектуры, спроектированные 20 лет назад, не предназначены для этой новой среды приложений. И мы продолжим фокусироваться на том, что ранее не существовало, на решении новых проблем, - подчеркнул глава NVIDIA. | |
По заявлениям разработчиков, для решения «тяжеловесных» задач системы на базе Grace в связке с GPU-платформами NVIDIA способны обеспечить в 10 раз более высокую производительность, чем новейшие на текущий момент серверы и рабочие станции NVIDIA DGX, использующие CPU с архитектурой х86.
В составе систем на базе процессоров Grace будет применяется четвёртое поколение шины NVIDIA NVLink, обеспечивающей пропускную способностью на уровне 900 Гбайт/с между процессором Grace и графическими ускорителями NVIDIA. Это примерно в 30 раз выше, чем у текущих самых передовых серверов, говорят в NVIDIA.
ARM – это самые популярные CPU в мире. Сейчас они широко используются в сегментах мобильных и встраиваемых устройств, и только начинают наращивать обороты в таких сферах, как облачные вычисления, решения корпоративного уровня и дата-центры. NVIDIA может ускорить процесс внедрения процессоров с архитектурой ARM на тех рынках, где она работает, полагают в компании.
Дженсен Хуанг дал понять, что с разработкой собственного CPU NVIDIA не стремится к широкомасштабной конкуренции в сегменте CPU с Intel и AMD и планирует сфокусироваться на той нише, для которой изначально предназначен процессор Grace. Он также напомнил, что у компании «отличные партнерства» с Intel и AMD, с которыми она плотно сотрудничает в разных областях – от ПК до дата-центров и суперкомпьютерных вычислений.
Но здесь нельзя не привести примечательный факт, что в течение дня после анонсов NVIDIA ее акции выросли в цене на 4%, а у Intel и AMD акции примерно на 4% подешевели[1].
Надо сказать, что разработка NVIDIA собственного CPU процессора на базе ARM – событие, несомненно, важное, но вряд ли абсолютно неожиданное. В 2020 году компания анонсировала намерения приобрести разработчика ARM за $40 млрд. По состоянию на апрель 2021 года NVIDIA ожидает одобрения этой сделки со стороны регуляторов.
Первые пользователи Grace уже раздвигают границы науки и искусственного интеллекта: в 2023 году Швейцарский национальный суперкомпьютерный центр (CSCS) и Лос-Аламосская национальная лаборатория планируют ввести в эксплуатацию суперкомпьютеры Grace, построенные Hewlett Packard Enterprise.
Швейцарский национальный суперкомпьютерный центр, Hewlett Packard Enterprise и NVIDIA анонсировали самый мощный в мире суперкомпьютер с поддержкой искусственного интеллекта: систему Alps для передовых исследований в области климата, физики и естественных наук с 7-кратным расширением возможностей ИИ по сравнению с текущей ведущей в мире системой ИИ на MLPerf.
Alps заменит существующий суперкомпьютер Piz Daint в CSCS и будет служить универсальной системой, открытой для широкого сообщества исследователей в Швейцарии и во всем мире. Подробнее по ссылке.
«Трёхчиповая» дорожная карта
Процессор Grace стал третьим чипом в линейке решений NVIDIA для дата-центров в дополнение к процессорам GPU и DPU (Data Processing Unit, сопроцессор для обработки данных). NVIDIA представила дорожную карту процессоров NVIDIA для дата-центров до 2025 года, где присутствуют все три продукта.
| | Наша дорожная карта в области дата-центров теперь представляет собой ритм, состоящий из трех чипов: CPU, GPU и DPU, - отметил гендиректор NVIDIA. – Каждая из этих архитектур имеет двухлетний цикл с промежуточными релизами. Один год мы будем фокусироваться на x86 платформах, другой - на платформах ARM. Таким образом, каждый год мы будем представлять рынку замечательные продукты. | |
Что касается DPU, в 2020 году NVIDIA представила в своем портфеле первые такие решения – BlueField-2 и BlueField-2X, сетевые карты со скоростным процессором ARM, который берет на себя вычислительную нагрузку, освобождая ресурсы центрального процессор сервера для других задач. Изначально BlueField – это бренд компании Mellanox, которая ранее стала частью NVIDIA.
А на открытии конференции GTC NVIDIA анонсировала DPU BlueField-3, который должен стать доступен в 2022 году. Как заявляет разработчик, BlueField-3 станет первой сетевой картой со скоростью передачи 400 Гбит/с на порт через Ethernet и NDR InfiniBand. Кроме того, будут доступны 16 ядер ARM Cortex, которые обеспечат ускорение сетевых вычислений, благодаря специальным аппаратным решениям. NVIDIA заявляет, что подобный чип заменяет около 300 традиционных ядер CPU. Подключение чипа выполняется через PCI Express 5.0, и у него имеется собственная память DDR5.
Также анонсирован обновленный набор инструментов для разработчиков (SDK) NVIDIA DOCA – DOCA 1.0, который предназначен для создания высокопроизводительных программно-определяемых и оптимизированных для облачных сервисов с ускорением DPU, использующих стандартные API. DOCA в продуктовой линейке NVIDIA можно назвать аналогом CUDA для GPU платформ.
Не обошлось и без обновлений в линейке GPU NVIDIA. Компания представила две новые, «младшие» версии своих GPU – A30 и A10, а также модель A16. Первый из них предназначен для ускорения вычислений, инференса ИИ и аналитики данных, A10 – для графики с элементами ИИ, виртуальных рабочих станций и смешанных вычислительных и графических рабочих нагрузок. А NVIDIA A16 в первую очередь ориентирован на инфраструктуру VDI. Все три модели базируются на архитектуре NVIDIA Ampere.
Демократизация ИИ
Передовые наработки NVIDIA для ИИ и высокопроизводительных вычислений воплощены в ее флагманских вычислительных системах линейки DGX. Они представлены в трех вариантах. Первый – рабочая станция DGX Station, представляющая собой персональный суперкомпьютер, который можно подключить прямо у рабочего стола. Второй – DGX A100 для создания дата-центра «из коробки». А третье решение – DGX SuperPOD - референсная архитектура для создания полноценной инфраструктуры для ИИ.
В рамках GTC NVIDIA анонсировала новую версию DGX SuperPOD. В числе ключевых изменений – этот продукт будет включать BlueField DPU, за счет чего, как заявляют разработчики, компания впервые в мире представляет cloud native суперкомпьютер для ИИ.
| | Вы можете получить доступ к этому суперкомпьютеру из облака таким же образом, как в случае с любыми другими вычислениями в облаке, можете совместно использовать его с другими людьми. И при этом все ваши данные находятся в безопасности, - отметил Дженсен Хуанг. | |
NVIDIA также анонсировала новую версию DGX Station – DGX Station 320G, которая базируется на GPU Ampere, содержащем технологии, позволяющие делить GPU на подразделы, и по сравнению с предыдущей моделью обладает большим объемом памяти. До 28 специалистов по обработке и анализу данных могут использовать одну и ту же станцию одновременно.
Из презентации на GTC следует, что каждая такая станция обеспечивает производительность до 2,5 Пфлопс. Правда, в презентации не уточняется, имеется ли в виду производительность на операциях двойной или одинарной точности.
В компании заявляют, что кластер на базе CPU с аналогичной производительностью сегодня стоил бы порядка $1 миллиона, а DGX Station стоит $149 тысяч.
Но и это не все. Компания представила новый класс сертифицированных NVIDIA систем (Nvidia-Certified Systems), использующих новые GPU A30 и A10, чтобы сделать ИИ доступным для организаций, которые запускают свои ИИ-приложения в стандартной инфраструктуре корпоративных дата-центров. В число таких систем входят массовые модели корпоративных серверов, преимущественно в форм-факторах 1U и 2U, от ведущих производителей, которые были анонсированы в январе и теперь сертифицированы для работы с программным пакетом NVIDIA AI Enterprise.
В числе производителей, чьи сертифицированные NVIDIA серверы поддерживают платформу NVIDIA EGX, позволяющую работать с ИИ-приложениями на инфраструктуре, используемой для традиционных бизнес-приложений, следующие компании: Atos, Dell Technologies , GIGABYTE, H3C, Inspur, Lenovo, QCT и Supermicro.
А Lockheed Martin, американская военно-промышленная корпорация, и Mass General Brigham, базирующаяся в Бостоне сеть некоммерческих больниц и врачей, среди первых, кто внедрит эти системы в своих дата-центрах.
Спустя несколько дней после анонса GPU A30 и A10 NVIDIA также объявила, что ее платформа инференса ИИ, которая недавно пополнилась этими процессорами, показала рекордную производительность во всех категориях в последней версии MLPerf.
MLPerf - это признанный в отрасли бенчмарк для измерения производительности ИИ в различных задачах, включая компьютерное зрение, медицинскую визуализацию, рекомендательные системы, распознавание речи и обработку естественного языка.
NVIDIA достигла этих результатов благодаря преимуществам платформы ИИ NVIDIA, охватывающей широкий спектр графических процессоров и программного обеспечения ИИ, включая TensorRT и NVIDIA Triton Inference Server, которые взяты на вооружение ведущими компаниями, такими как Microsoft, Pinterest , Postmates, USPS и WeChat.
Некоторые результаты также включают данные Triton Inference Server, который упрощает развертывание ИИ в приложениях благодаря поддержке моделей из всех основных фреймворков, работающих на GPU и CPU, и оптимизации для различных типов запросов, включая пакетные данные, данные в реальном времени и потоковую передачу. Результаты Triton показывают производительность, близкую к наиболее оптимизированным GPU-системам, а также CPU-системам с сопоставимыми конфигурациями.
Компания также открыла новые возможности, представив результаты, полученные при использовании технологии Multi-Instance GPU архитектуры NVIDIA Ampere, одновременно запустив все семь тестов MLPerf Offline на одном графическом процессоре с использованием семи инстансов MIG. Конфигурация показала почти идентичную производительность по сравнению с одним инстансом MIG.
А помимо собственных результатов NVIDIA, партнеры компании Alibaba, DellEMC, Fujitsu, Gigabyte, HPE, Inspur, Lenovo и Supermicro представили в общей сложности более 360 результатов с использованием графических процессоров NVIDIA.
В свою очередь, упомянутый выше программный пакет NVIDIA AI Enterprise теперь сертифицирован для наиболее популярной в мире платформы виртуализации вычислений – VMware vSphere 7. Об этом компания также сообщила в рамках GTC.
| | Библиотеки NVIDIA AI ускоряют каждый шаг, начиная с обработки данных. NVIDIA AI может интегрироваться во все индустрии, популярные инструменты и производственные процессы. NVIDIA AI – в каждом облаке, и используется крупнейшими компаниями и более 7,5 тыс. стартапов по всему миру, - отметил Дженсен Хуанг. | |
Предварительно обученные модели ИИ
Чтобы еще больше упростить использование ИИ в корпоративном секторе, NVIDIA представила набор инструментов, позволяющих компаниям не проектировать и обучать собственную нейронную сеть с нуля, а выбрать одну из множества доступных в облачном каталоге NGC. Представленные в каталоге модели охватывают разнообразные задачи ИИ, включая компьютерное зрение и понимание естественного языка.
Выбрав модель, клиент сможет ее настроить в соответствии с конкретными потребностями с помощью NVIDIA TAO (Train, Adapt, and Optimize). Это фреймворк на базе графического пользовательского интерфейса, предназначенный для того, чтобы быстрее и проще создавать корпоративные ИИ-приложения и сервисы.
Он позволяет дообучить предобученную модель из каталога NGC на небольших наборах данных, которые есть у пользователя, а также обучить модель на данных от различных пользователей внутри зашифрованных анклавов в GPU, не открывая их никому из участников процесса.
После оптимизации модели, когда она готова к развертыванию, ее можно будет интегрировать с любой инфраструктурой в соответствии с любым сценарием использования. А на завершающем этапе можно использовать инструмент NVIDIA Fleet Command для развертывания и управления приложением ИИ на различных устройствах с графическим процессором.
NVIDIA Jarvis
На базе вышеупомянутого каталога NGC NVIDIA представила GPU-ускоряемый фреймворк Jarvis, позволяющий компаниям использовать видео и голосовые данные для создания диалоговых ИИ-сервисов, адаптированных для их индустрии, продуктов и клиентов.
Предварительно обученные модели Jarvis предлагают высокоточное автоматическое распознавание речи, понимание языка, перевод в режиме реального времени для нескольких языков. За счет использования GPU-ускорения Jarvis способен уложить весь процесс, включающий прослушивание, распознавание и генерацию ответной реакции, в 100 миллисекунд – быстрее, чем моргание человеческого глаза. При этом Jarvis обеспечивает точность распознавания речи в 90%.
| | Мы обучали Jarvis на GPU в течение нескольких миллионов часов на более чем 1 миллиарде страниц текста и более 60 тысячах часов речи на разных языках, - привел удивительные данные гендиректор NVIDIA. | |
На момент анонса Jarvis поддерживает следующие языки: английский, что особенно приятно – русский, а также испанский, японский, немецкий и французский языки.
Для наиболее эффективного использования Jarvis в различных индустриях, его можно кастомизировать под отраслевой жаргон. NVIDIA, в частности, обучала его для технического сценария и использования в здравоохранении. А одна из «фишек» Jarvis – он может говорить с эмоциями и экспрессией, уровень которых тоже можно настроить. И что тоже очень важно – он может быть развернут в том числе в облаке.
По данным NVIDIA, с момента запуска программы раннего доступа к Jarvis в мае 2020 года тысячи компаний запросили к ней доступ. В их числе – телеком-гигант T-Mobile.
ИИ для 5G
В рамках конференции GTC NVIDIA также анонсировала партнерства с компаниями, которые разработают решения на базе ее платформы AI-on-5G, предназначенной для развертывания приложений ИИ по сетям 5G. Этим займутся, в частности, Fujitsu, Google Cloud, Mavenir, Radisys и Wind River. В NVIDIA ожидают, что это позволит ускорить создание «умных» городов, продвинутых больниц и интеллектуальных магазинов.
Платформа AI-on-5G включает в себя гиперконвергентную вычислительную платформу NVIDIA EGX, набор средств разработки (SDK) NVIDIA Aerial для программно-определяемых виртуальных сетей радиодоступа (vRAN) на 5G и корпоративных приложений для работы с ИИ.
Для работы 5G базовых станций с большим количеством абонентов требуется с минимальными задержками решать вычислительно сложные задачи обработки сигналов. На конференции NVIDIA представила Aerial A100 – решение, которое объединяет ИИ и 5G в вычислительной платформе нового типа. Оно содержит GPU и BlueField DPU на одной карте.
NVIDIA Aerial SDK - это фреймворк для проведения этих вычислений на DPU и GPU, а не специфичном для телекоммуникационных компаний оборудовании. При этом вне периодов пиковых нагрузок GPU можно использовать, например, для приграничных (edge) ИИ-вычислений, обслуживании камер в магазинах с самостоятельной оплатой, автономных транспортных средств. Это позволит операторам получить повышенный доход, реализовав потенциал сервисов с низкой задержкой. На GTC 2021 был анонсирован NVIDIA BlueField-2 A100 — комбинированный ускоритель, содержащий NVIDIA A100 Tensor Core GPU и BlueField-2 DPU и позволяющий реализовать протоколы со строгими ограничениями по задержке, «5T for 5G».
По словам гендиректора NVIDIA, Aerial A100 вместе с системой EGX смогут выступать как законченная базовая станция 5G, которая также представляет собой по сути cloud native дата-центр.
Кибербезопасность
Не обошла стороной NVIDIA и тему кибербезопасности. Она стала настоящим вызовом для компаний ввиду того, что сегодня, особенно на фоне развития облачных технологий, каждый компьютер в дата-центре подвержен риску влияния извне.
На GTC NVIDIA представила Morpheus – облачный фреймворк кибербезопасности на базе GPU и DPU BlueField, который позволяет провайдерам кибербезопасности разрабатывать решения на основе ИИ, способные мгновенно обнаруживать уязвимости.
Morpheus использует машинное обучение для выявления и предотвращения угроз и аномалий, которые ранее было невозможно идентифицировать, включая утечки незашифрованных конфиденциальных данных, фишинговые атаки и вредоносное ПО, заявляют в NVIDIA.
В сочетании с DPU BlueField этот фреймворк позволяет каждому вычислительному узлу в сети служить датчиком киберзащиты, что дает возможность организациям анализировать каждый пакет со скоростью линии без репликации данных. Традиционные инструменты безопасности на базе ИИ обычно отбирают около пяти процентов данных сетевого трафика, поэтому такие алгоритмы обнаружения угроз оперируют неполными данными.
Разработчики сетевых решений и систем кибербезопасности, партнеры по программному обеспечению, стартапы и производители компьютеров могут уже сейчас подавать заявки на ранний доступ к платформе NVIDIA Morpheus, говорят в NVIDIA.
Беспилотные автомобили
NVIDIA работает с автомобильной индустрией уже около двух десятилетий. В числе новинок для этой отрасли, которые анонсировала компания на GTC – следующее поколение ее платформы DRIVE под названием Atlan. Разработчик называет ее «центром обработки данных на колёсах».
DRIVE Atlan по сути объединяет всю вычислительную инфраструктуру умного автомобиля в одном чипе. Платформа может обеспечить одновременную работу автомобильных систем самоуправления, интеллектуальных бортовых приборов, мультимедийных приложений при высоком уровне безопасности.
В состав DRIVE Atlan входят вычислительные ядра нового поколения с архитектурой ARM, ускорители глубокого обучения и машинного зрения. Заявленная производительность превышает 1000 триллионов операций в секунду.
Образцы DRIVE Atlan, как ожидается, станут доступны в 2023 году, а транспортные средства на базе этой платформы – не ранее 2025 года.
NVIDIA активно сотрудничает с автопроизводителями. В ближайшие шесть лет на дороги выйдут автомобили, оснащенные технологиями NVIDIA Drive, от таких компаний, как Volvo Cars, Mercedes-Benz, NIO, SAIC, TuSimple, Cruise, Zoox, Faraday Future, VinFast и не только.
Omniverse Enterprise - платформа для создания виртуальных миров
В декабре 2020 года NVIDIA открыла бета-доступ к платформе для дизайна и коллабораций Omniverse. А в рамках GTC компания анонсировала Omniverse Enterprise – платформу для совместной работы с 3D-графикой в различных организациях. Она включает сервер для создания и просмотра приложений и возможности виртуальной рабочей станции. Платформа может применяться в организациях любого размера, позволяя географически распределенным командам 3D разработчиков работать совместно над комплексными проектами.
| | Omniverse – это фундаментальная платформа нашей стратегии в области виртуальной и дополненной реальности, наших стратегий в области дизайна и коллаборации, - пояснил Дженсен Хуанг. – Это также платформа для нашей стратегии по виртуальным мирам метавселенной, роботизации и ИИ в автономных машинах. Вы увидите все больше разработок, связанных с Omniverse. И ее можно назвать одним из недостающих звеньев, которое очень важно для следующего поколения технологий автономного ИИ. | |
По данным NVIDIA, на момент анонса более 400 компаний используют Omniverse. К примеру, BMW с помощью этой платформы создала цифрового двойника одного из своих заводов.
А Bentley Systems, разработчик ПО для профессионалов в сфере строительства и управления инфраструктурой, станет первой сторонней компанией, которая создаст на основе Omniverse пакет приложений.
| | 20 лет назад все это было научной фантастикой, 10 лет назад это было мечтой, а сегодня мы в этом живем», - отметил Дженсен Хуанг в завершение своего выступления на открытии GTC. | |
По данным NVIDIA, ее онлайн-конференция привлекла беспрецедентное число участников – более 180 тыс. зарегистрированных посетителей, что в три раза больше, чем крупнейшая GTC, имевшая место ранее.
Другие новости читайте в блоге NVIDIA.
Примечания
