| Разработчики: | Microsoft |
| Дата премьеры системы: | май 2021 г |
| Отрасли: | Информационные технологии |
2021: Открытие исходных кодов
В начале мая 2021 года Microsoft выпустила программное обеспечение с открытым исходным кодом Counterfit, помогающее разработчикам оценить безопасность своих систем машинного обучения.
Выложенный на GitHub проект включает в себя инструмент командной строки и система автоматизации, позволяющая разработчикам имитировать кибератаки на искусственный интеллект.
Сама Microsoft использует Counterfit для тестирования собственных ИИ-моделей, а также планирует задействовать продукт для разработки систем искусственного интеллекта.
К 5 мая 2021 года любой желающий может скачать этот инструмент и развернуть его через Azure Shell для запуска в браузере или локально в среде Anaconda Python.
Counterfit способна оценивать защиту моделей искусственного интеллекта, размещенных в различных облачных, локальных и периферийных средах. В Microsoft утверждают, что инструмент работает с любыми ИИ-моделями и поддерживает различные типы данных, включая текст и изображения.
 | Наш инструмент делает опубликованные алгоритмы атак доступными для сообщества специалистов по безопасности и помогает предоставить расширяемый интерфейс для создания, управления и запуска атак на ИИ-модели. Этот инструмент стал частью обширной работы Microsoft по расширению возможностей разработчиков в части безопасной разработки и развертывания ИИ-систем, – заявили в Microsoft. |  |
В компании перечислили три основных сценария применения Counterfit специалистами по кибербезопасности:
- тестирование ИИ-системы на несанкционированное проникновение;
- сканирование ИИ-систем на наличие уязвимостей
- документирование кибератак на ИИ-модели.[1]
Инструмент поставляется с предварительно загруженными алгоритмами атак. ИБ-специалисты также могут использовать встроенный движок скриптов cmd2 для подключения к Counterfit из существующих атакующих инструментов для тестирования.
