Nvidia Maxine

Основные статьи:

• Типы и возможности современных систем ВКС
• ИТ-продукты и онлайн-сервисы для удаленной работы

Nvidia Maxine - это облачная платформа искусственного интеллекта для потоковой передачи видео.

2020: Анонс Nvidia Maxine

5 октября 2020 года компания NVIDIA анонсировала платформу NVIDIA Maxine, которая предоставляет разработчикам облачное GPU-ускоренное программное обеспечение на базе искусственного интеллекта (ИИ) для видеоконференций, созданное для оптимизации потокового видео.

Nvidia Maxine

По информации компании, провайдеры видеоконференцсвязи,использующие платформу на графических процессорах NVIDIA в облаке, могут предложить пользователям возможности искусственного интеллекта, включая коррекцию взгляда, оптимизированное разрешение, шумоподавление, повторное освещение лица и другие.

Так как данные обрабатываются в облаке, а не локально, то конечные пользователи могут пользоваться этими возможностями без специального аппаратного обеспечения.

На октябрь 2020 года видеоконференции стали частью нашей жизни, помогая людям работать, учиться и играть, и даже консультироваться у врачей. говорит Ян Бак (Ian Buck), вице-президент и директор NVIDIA по ускоренным вычислениям

Платформа Maxine уменьшает требуемую для видеозвонков полосу пропускания. Вместо потоковой передачи всех пикселей экрана умное программное обеспечение анализирует ключевые черты лица каждого человека, участвующего в звонке, и затем интеллектуально воссоздает лицо с другой стороны. Это позволяет сократить объем данных потокового видео, пересылаемых по Сети туда и обратно.

Используя данную технологию сжатия видео на основе ИИ, работающую на графических процессорах NVIDIA, разработчики могут снизить нагрузку на полосу пропускания до одной десятой от требований стандарта сжатия потокового видео H.264.

Разработки исследователей NVIDIA, которые будут включены в Maxine, сделают видеоконференцсвязь более похожей на личную беседу. Поставщики услуг видеоконференцсвязи смогут воспользоваться исследованиями NVIDIA в генеративно-состязательных сетях (GAN), чтобы предложить множество функций.

Например, функция выравнивания лица позволяет автоматически выравнивать позицию лица таким образом, чтобы казалось, что во время разговора люди смотрят друг другу в лицо, а функция коррекции взгляда помогает имитировать зрительный контакт, даже если камера не совмещена с экраном пользователя. Поскольку объем видеоконференций с начала 2020 года увеличился в 10 раз, эти функции помогают людям сосредоточиться на разговоре, а не на камере.

Разработчики также могут добавлять функции, которые позволяют участникам звонка выбирать собственные анимированные аватары с реалистичной анимацией, автоматически управляемой их голосом и эмоциональным тоном в реальном времени. Опция автоматического кадра позволяет видеопотоку отслеживать того, кто говорит в данный момент, даже если он удаляется от экрана.

Используя функции диалогового ИИ на базе SDK NVIDIA Jarvis, разработчики могут интегрировать виртуальных помощников, использующих современные языковые модели ИИ для распознавания речи, понимания языка и генерации речи. Виртуальные помощники могут делать заметки, задавать действия и отвечать на вопросы человеческим голосом. Дополнительные сервисы диалогового ИИ, такие как переводы, субтитры и транскрипция, помогают участникам понять, что обсуждается во время видеоконференции.

По словам представителя компании, спрос на видеоконференцсвязь трудно предсказать на определенный момент времени, если к звонку будут пытаться присоединиться сотни или даже тысячи пользователей. NVIDIA Maxine использует микросервисы ИИ, работающие в кластерах контейнеров Kubernetes на графических процессорах NVIDIA, чтобы помочь разработчикам масштабировать свои услуги в соответствии с текущими потребностями. Пользователи могут запускать несколько функций ИИ одновременно, не превышая требований приложений по задержкам.

Поставщики услуг видеоконференций могут использовать Maxine, чтобы предоставить возможности ИИ сотням тысяч пользователей, выполняя инференс на графических процессорах NVIDIA в облаке. Модульная конструкция платформы Maxine позволяет разработчикам выбирать возможности ИИ для интеграции в свои решения для видеоконференцсвязи.

Платформа Maxine объединяет технологии из нескольких SDK NVIDIA и API. В дополнение к NVIDIA Jarvis, платформа Maxine также использует SDK NVIDIA DeepStream для скоростной потоковой передачи аудио и видео и SDK NVIDIA TensorRTTM для производительного инференса.

Разработчики ИИ-приложений компьютерного зрения, партнеры по программному обеспечению, стартапы и производители компьютеров, создающие аудио- и видео-приложения и сервисы, на октябрь 2020 года могут подать заявку на ранний доступ к платформе NVIDIA Maxine.