| Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
| Разработчики: | Nvidia (Нвидиа) |
| Дата последнего релиза: | 2023/06/12 |
| Технологии: | Речевые технологии |
Основные статье:
2023: Обнаружение уязвимости, которая может привести к нарушению безопасности и раскрытию конфиденциальной информации
Исследователи обнаружили потенциальную уязвимость в программном обеспечении искусственного интеллекта (AI) Nvidia, которая может привести к нарушению безопасности и раскрытию конфиденциальной информации. Об этом стало известно 12 июня 2023 года.
Nvidia разработала "NeMo Framework" - систему, предназначенную для работы с большими языковыми моделями, являющимися основой для таких продуктов AI, как чат-боты. Эта система используется в бизнесе для комбинирования собственных данных компании с языковыми моделями с целью предоставления ответов на вопросы, заменяя таким образом работу представителей службы поддержки или предоставляя простые советы по здравоохранению.
Однако исследователи из Robust Intelligence, компании со штаб-квартирой в Сан-Франциско, обнаружили, что ограничения безопасности, установленные для безопасного использования AI, можно легко обойти. Они выяснили это, проведя несколько часов на анализе данных с использованием системы Nvidia.
В ходе одного из экспериментов, исследователи смогли заставить систему Nvidia заменить букву "I" на "J", что привело к раскрытию личной идентифицируемой информации из базы данных. Исследователи обнаружили, что они могут обойти ограничения безопасности и другими способами, например, заставить модель отклоняться от того, что ей не положено. Повторив пример Nvidia о узком обсуждении отчета о занятости, они смогли перевести модель на темы, такие как состояние здоровья голливудской кинозвезды и франко-прусская война — несмотря на запреты, предназначенные для того, чтобы не допустить выхода искусственного интеллекта за рамки конкретных тем.
Легкость, с которой исследователи обошли меры безопасности, подчеркивает проблемы, с которыми сталкиваются компании искусственного интеллекта при попытке коммерциализировать одну из самых перспективных технологий, появившихся в Силиконовой долине за последние годы.
Исследователи посоветовали своим клиентам избегать использования продукта Nvidia. Nvidia сообщила, что она исправила одну из основных причин проблемы, указанной аналитиками[1].
Примечания
Подрядчики-лидеры по количеству проектов
Группа компаний ЦРТ (Центр речевых технологий) (48) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (41) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (29) SteadyControl (19) Сбербанк (18) Другие (265) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (9) Группа компаний ЦРТ (Центр речевых технологий) (8) SteadyControl (6) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4) Unlimited Production (Анлимитед Продакшен, eXpress) (4) Другие (28) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (6) SteadyControl (5) Unlimited Production (Анлимитед Продакшен, eXpress) (5) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4) Voice Systems Robotics (VSR, VS Robotics) (3) Другие (39)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Группа компаний ЦРТ (Центр речевых технологий) (18, 50) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (6, 42) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (13, 32) Сбербанк (24, 27) SteadyControl (1, 24) Другие (512, 308) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9) Группа компаний ЦРТ (Центр речевых технологий) (4, 7) SteadyControl (1, 7) SteadyControl HoReCa (1, 7) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 6) Другие (18, 29) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) Сбербанк (3, 5) SteadyControl (1, 5) SteadyControl HoReCa (1, 5) Unlimited Production (Анлимитед Продакшен, eXpress) (1, 5) Другие (29, 47) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (3, 8) СалютДевайсы (ранее SberDevices) (2, 8) Сбербанк (2, 8) Яндекс (Yandex) (2, 5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4, 4) Другие (25, 32) СалютДевайсы (ранее SberDevices) (2, 4) Сбербанк (2, 4) Lad, Лад Ай Ти (ранее ГК Лад, Лад-Проект) (1, 2) Just AI (1, 1) SberDevices (СалютДевайсы, ранее СберДевайсы) (1, 1) Другие (5, 5)Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
МТС Exolve Голосовой робот - 31 (7, 24) SteadyControl Система контроля и управления персоналом - 24 (24, 0) Сбер: GigaChat (ГигаЧат) - 23 (20, 3) BSS Digital2Speech - 21 (21, 0) EXpress Защищенный корпоративный мессенджер - 16 (16, 0) Другие 220 МТС Exolve Голосовой робот - 9 (0, 9) SteadyControl Система контроля и управления персоналом - 7 (7, 0) EXpress Защищенный корпоративный мессенджер - 6 (6, 0) BSS Digital2Speech - 5 (5, 0) SmartLogger II - 4 (4, 0) Другие 11 EXpress Защищенный корпоративный мессенджер - 5 (5, 0) SteadyControl Система контроля и управления персоналом - 5 (5, 0) BSS Digital2Speech - 4 (4, 0) Robovoice Пользовательская no-code платформа для разработки ИИ-ботов - 3 (3, 0) Napoleon IT отзывы - 3 (3, 0) Другие 36 Сбер: GigaChat (ГигаЧат) - 8 (7, 1) МТС Exolve Виртуальная АТС - 6 (6, 0) YandexGPT - 4 (4, 0) VS Robotics: VS Робот-оператор - 3 (3, 0) EXpress Защищенный корпоративный мессенджер - 3 (3, 0) Другие 26 Сбер: GigaChat (ГигаЧат) - 4 (3, 1) Lad: GPTZator - 2 (2, 0) МТС Exolve Голосовой робот - 1 (1, 0) T-Bank VoiceKit - 1 (0, 1) Сбер SaluteSpeech (SmartSpeech) - 1 (1, 0) Другие 0 
