| Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
| Разработчики: | Nvidia (Нвидиа) |
| Дата последнего релиза: | 2023/06/12 |
| Технологии: | Речевые технологии |
Основные статье:
2023: Обнаружение уязвимости, которая может привести к нарушению безопасности и раскрытию конфиденциальной информации
Исследователи обнаружили потенциальную уязвимость в программном обеспечении искусственного интеллекта (AI) Nvidia, которая может привести к нарушению безопасности и раскрытию конфиденциальной информации. Об этом стало известно 12 июня 2023 года.
Nvidia разработала "NeMo Framework" - систему, предназначенную для работы с большими языковыми моделями, являющимися основой для таких продуктов AI, как чат-боты. Эта система используется в бизнесе для комбинирования собственных данных компании с языковыми моделями с целью предоставления ответов на вопросы, заменяя таким образом работу представителей службы поддержки или предоставляя простые советы по здравоохранению.
Однако исследователи из Robust Intelligence, компании со штаб-квартирой в Сан-Франциско, обнаружили, что ограничения безопасности, установленные для безопасного использования AI, можно легко обойти. Они выяснили это, проведя несколько часов на анализе данных с использованием системы Nvidia.
В ходе одного из экспериментов, исследователи смогли заставить систему Nvidia заменить букву "I" на "J", что привело к раскрытию личной идентифицируемой информации из базы данных. Исследователи обнаружили, что они могут обойти ограничения безопасности и другими способами, например, заставить модель отклоняться от того, что ей не положено. Повторив пример Nvidia о узком обсуждении отчета о занятости, они смогли перевести модель на темы, такие как состояние здоровья голливудской кинозвезды и франко-прусская война — несмотря на запреты, предназначенные для того, чтобы не допустить выхода искусственного интеллекта за рамки конкретных тем.
Легкость, с которой исследователи обошли меры безопасности, подчеркивает проблемы, с которыми сталкиваются компании искусственного интеллекта при попытке коммерциализировать одну из самых перспективных технологий, появившихся в Силиконовой долине за последние годы.
Исследователи посоветовали своим клиентам избегать использования продукта Nvidia. Nvidia сообщила, что она исправила одну из основных причин проблемы, указанной аналитиками[1].
Примечания
Подрядчики-лидеры по количеству проектов
Группа компаний ЦРТ (Центр речевых технологий) (44) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (27) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (25) SteadyControl (18) Naumen (Наумен консалтинг) (14) Другие (167) Группа компаний ЦРТ (Центр речевых технологий) (5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4) SteadyControl (4) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2) 3iTech (ранее 3i Technologies) (2) Другие (17) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7) Naumen (Наумен консалтинг) (3) Voice Systems Robotics (VSR, VS Robotics) (3) Мегапьютер Интелидженс (Megaputer Intelligence) (2) Другие (14)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Группа компаний ЦРТ (Центр речевых технологий) (17, 46) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (3, 28) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (11, 27) SteadyControl HoReCa (1, 23) SteadyControl (1, 23) Другие (317, 179) Группа компаний ЦРТ (Центр речевых технологий) (2, 5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 5) SteadyControl HoReCa (1, 4) SteadyControl (1, 4) SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2) Другие (9, 13) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) SteadyControl HoReCa (1, 3) Voice Systems Robotics (VSR, VS Robotics) (1, 3) Naumen (Наумен консалтинг) (1, 3) Другие (12, 16) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 8) Группа компаний ЦРТ (Центр речевых технологий) (4, 7) SteadyControl HoReCa (1, 7) SteadyControl (1, 7) Другие (15, 23) SteadyControl (1, 5) SteadyControl HoReCa (1, 5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 4) Яндекс (Yandex) (1, 3) SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2) Другие (11, 12)Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
МТТ Голосовой бот - 28 (4, 24) SteadyControl Система контроля и управления персоналом - 23 (23, 0) BSS Digital2Speech - 20 (20, 0) Voice2Med Система распознавания речи в медицине - 14 (14, 0) Naumen Erudite - 12 (12, 0) Другие 125 BSS Digital2Speech - 5 (5, 0) SteadyControl Система контроля и управления персоналом - 4 (4, 0) Voice2Med Система распознавания речи в медицине - 4 (4, 0) МТТ Голосовой бот - 2 (0, 2) Neuro.net Голосовой робот - 2 (2, 0) Другие 8 МТТ Голосовой бот - 12 (1, 11) BSS Digital2Speech - 6 (6, 0) Naumen Erudite - 3 (3, 0) VS Robotics: VS Робот-оператор - 3 (3, 0) SteadyControl Система контроля и управления персоналом - 3 (3, 0) Другие -1 МТТ Голосовой бот - 9 (0, 9) BSS Digital2Speech - 7 (7, 0) SteadyControl Система контроля и управления персоналом - 7 (7, 0) EXpress Защищенный корпоративный мессенджер - 6 (6, 0) SmartLogger II - 4 (4, 0) Другие 9 SteadyControl Система контроля и управления персоналом - 5 (5, 0) YandexGPT (YaLM 2.0) - 3 (3, 0) BSS: Виртуальный голосовой ассистент - 2 (2, 0) BSS Digital2Speech - 2 (2, 0) МТТ Голосовой бот - 1 (1, 0) Другие 8 
