Nvidia AI Enterprise

Основные статьи:

• IT Service Management (ITSM)
• Виртуализация. Классификация и области применения
• Data mining Интеллектуальный анализ данных

2024: Обнаружение опасной уязвимости в системе управления Nvidia Base Command Manager

В конце ноября ФСТЭК разослала предупреждение об уязвимости BDU:2024-10174^[1], обнаруженной в продукте для управления рабочей нагрузкой и мониторинга инфраструктуры NVidia Base Command Manager (BCM), который входит в состав NVidia AI Enterprise. Этот инструмент оптимизирует развёртывание кластера, управляет рабочей нагрузкой и мониторингом инфраструктуры, построенной на продуктах NVidia. Опасность уязвимости оценивается как 9,8 из 10 по CVSSv3. Уязвимость подтверждена производителем и уже устранена.

𝓲

NVidia

Ошибка BDU:2024-10174 связана с отсутствием процедуры авторизации в одном из компонентов NVidia BCM – демоне CMDaemon. В результате эксплуатации этой уязвимости удаленный злоумышленник может выполнить произвольный код. Уязвимыми являются версии от 10.24.08 до 10.24.09 . Ошибка исправлена в версии 10.24.09a, до которой компания рекомендует обновиться.

NVidia BCM предоставляет администраторам крупных ЦОДов, где установлены устройства NVidia, все инструменты для развёртывания и управления центром данных искусственного интеллекта. Наличие подобной ошибки дает злоумышленникам возможность получить контроль над огромными вычислительными ресурсами, которые сейчас используются для обучения ML-моделей и нейросетей.

𝓲

NVidia

Уязвимости в Base Command Manager представляют серьезную опасность, – заявил TAdviser Сергей Гордейчик, генеральный директор «СайберОК». – К сожалению, подобные уязвимости действительно распространены и встречаются в интернет-среде. Что касается NVidia, специалисты «СайберОК» ранее выявляли уязвимости на ML-серверах DGX. Подход вендора приятно удивил: выявленные уязвимости были оперативно устранены, а клиенты, чьи серверы оказались в интернете, были своевременно уведомлены. В России NVidia BCM в основном используется только в крупных инсталляциях из-за высокой стоимости. О доступных из интернета экземплярах нам неизвестно.

Если исполнение основной рекомендации – обновление ПО до исправленной версии – реализовать не удастся, то специалисты ФСТЭК настоятельно советуют выполнить следующие компенсирующие меры:

• Использовать средства межсетевого экранирования для ограничения удалённого доступа к уязвимому программному средству;
• Применять «белые» списки IP-адресов для ограничения доступа к уязвимому программному средству;
• Ограничить с помощью виртуальных частных сетей удаленный доступ к уязвимому ПО.

К этим рекомендациям можно добавить то, что службе безопасности ЦОДа, где установлен подобный инструмент управления, стоит какое-то время более пристально контролировать поведение соответствующего программного компонента – CMDaemon, стараясь выявить в его логах признаки эксплуатации уязвимости. Это можно сделать как с помощью индикаторов компрометации (IoC), так и анализа поведенческой активности приложения.

2021

Интеграция с VMware vSphere 7 Update 2

19 марта 2021 года компания VMware представила обновленную версию VMware vSphere 7 Update 2 с поддержкой AI-Ready Enterprise. Подробнее здесь.

Анонс Nvidia AI Enterprise

9 марта 2021 компания NVIDIA анонсировала NVIDIA AI Enterprise - программный набор корпоративных инструментов и фреймворков искусственного интеллекта, оптимизированных, сертифицированных и поддерживаемых NVIDIA в VMware vSphere 7 Update 2.

По информации компании, в рамках отраслевого сотрудничества по разработке платформы AI-Ready Enterprise NVIDIA объединилась с VMware для виртуализации рабочих задач, связанных с ИИ, в VMware vSphere с помощью NVIDIA AI Enterprise. Это позволяет предприятиям разрабатывать широкий спектр решений для работы с ИИ, таких, как расширенная диагностика в здравоохранении, умные предприятия для производства и обнаружение мошенничества в финансовых услугах.

Nvidia AI Enterprise

С программным пакетом NVIDIA AI Enterprise ИТ-специалисты сотен тысяч предприятий, использующие vSphere для виртуализации вычислений, теперь могут поддерживать ИИ с помощью тех же инструментов, которые они используют для управления крупномасштабными центрами обработки данных и гибридными облачными средами. Программный пакет NVIDIA обеспечивает масштабируемую, многоузловую производительность ИИ-приложений в vSphere, неотличимую от «голых» серверов.

До сих пор пользователи запускали ИИ на выделенных физических серверах (bare-metal servers). NVIDIA AI Enterprise позволяет клиентам сократить время разработки моделей ИИ с 80 до 8 недель, а также позволяет им развертывать и управлять расширенными приложениями ИИ в VMware vSphere с такой же масштабируемой производительностью ускоренных вычислений NVIDIA, которая возможна на выделенном сервере. рассказал Джастин Бойтано (Justin Boitano), вице-президент и директор по корпоративным и edge-вычислениям в NVIDIA

Nvidia AI Enterprise

Каждая компания изучает, как модернизировать свою инфраструктуру в соответствии с требованиями приложений искусственного интеллекта. Благодаря NVIDIA AI Enterprise и vSphere 7 Update 2 пользователи VMware теперь могут быстро отслеживать ИИ в своих виртуализированных ЦОД и развертывать сертифицированную инфраструктуру с поддержкой ИИ для своих современных приложений. пояснил Ли Касвелл (Lee Caswell), вице-президент по маркетингу бизнес-подразделения облачных платформ в VMware

Одной из первых, взявших на вооружение NVIDIA AI Enterprise для vSphere, стала компания Optum Technology, входящая в Группу UnitedHealth.

ИИ играет важную роль в сервисах на основе данных, которые Optum предоставляет United Healthcare. С программным обеспечением и инфраструктурой NVIDIA AI Enterprise, работающими в нашей среде VMware vSphere, мы сможем поддерживать рабочие нагрузки наших приложений и развертывать ИИ в масштабах предприятия. дополнил Джастин Потузник (Justin Potuznik), старший главный инженер Optum Technology

NVIDIA AI Enterprise обеспечивает совместимость с широким набором ускоренных приложений CUDA, фреймворков ИИ, предварительно обученных моделей и наборов инструментов для разработки ПО, работающих в гибридном облаке. Оптимизация позволяет масштабировать рабочие нагрузки на несколько узлов и запускать большие модели глубокого обучения с полной виртуализацией GPU.

Nvidia AI Enterprise

Для поддержки приложений в NVIDIA AI Enterprise, VMware vSphere 7 Update 2 теперь сертифицировано для графических процессоров с тензорными ядрами NVIDIA A100 в сертифицированных NVIDIA системах, которые включают большие серверы от Dell Technologies, HPE, Lenovo и Supermicro. Благодаря этой сертификации клиенты vSphere, приобретающих лицензию на NVIDIA AI Enterprise, получают прямую пользовательскую поддержку от NVIDIA.

NVIDIA также сертифицировала vSphere как программное обеспечение для виртуализации вычислений, обеспечивающее поддержку гипервизора для динамической миграции с технологией NVIDIA Multi-Instance GPU, которая позволяет разделить каждый графический процессор A100 на максимум семь инстансов на аппаратном уровне, чтобы оптимизировать эффективность рабочих нагрузок любых размеров.

Кроме того, некоторые адаптеры NVIDIA ConnectX теперь сертифицированы для VMware vSAN через RDMA (удаленный прямой доступ к памяти), что снимает задачи коммуникации с CPU и оптимизирует производительность приложений и рентабельность инвестиций в инфраструктуру.

ПО NVIDIA AI Enterprise доступно в виде бессрочной лицензии по цене 3595 долларов США за CPU-сокет. Поддержка Enterprise Business Standard для NVIDIA AI Enterprise стоит 899 долларов США в год за лицензию. Клиенты могут подать заявку на ранний доступ к NVIDIA AI Enterprise при планировании обновления до VMware vSphere 7 Update 2.

Примечания