Raft Digital Solutions
Рафт Диджитал Солюшенс

Компания

Raft Digital SolutionsРафт Диджитал Солюшенс

2024: Создание LLM Security Lab совместно с ИТМО и Napoleon IT

Компания Raft совместно с AI Talent Hub университета ИТМО и Napoleon IT создала LLM Security Lab. Данная лаборатория станет ключевым центром исследований в области безопасности и этики генеративного ИИ, а также применении больших языковых моделей (LLM) в бизнесе. Об этом Napoleon IT сообщил 21 августа 2024 года.

Цель лаборатории — поддержка научных и прикладных исследований студентов, подготовка специалистов в области работы с LLM-моделями и ИИ-решениями, а также развитие новых технологий и подходов в этой стремительно развивающейся сфере.

По прогнозам аналитиков Gartner, к 2025 году 80% всех процессов разработки продуктов будут использовать генеративный искусственный интеллект. В этой связи обеспечение безопасности LLM-приложений становится критически важной задачей. Половина компаний, уже внедривших генеративный ИИ, сталкиваются с серьезными проблемами безопасности, что подтверждает актуальность создания LLM Security Lab.

LLM Security Lab направлена на развитие экспертизы в области безопасности LLM-приложений. Лаборатория создана на базе AI Talent Hub — магистратуры по машинному обучению, разработанной Университетом ИТМО и Napoleon IT. Raft инвестирует в этот проект для глубокого изучения и решения вопросов безопасности ИИ.

Ключевые направления исследований лаборатории включают:

  • Мониторинг и анализ контента: разработка инструментов для отслеживания атак и анализа токсичности сообщений, которая позволяет компаниям защищать свою репутацию и улучшать взаимодействие с пользователями.
  • Имитация кибератак и защита персональных данных: изучение новых типов атак, разработка решений для предотвращения утечек конфиденциальной информации и обеспечения безопасности ИИ-продуктов.

Кроме того, в рамках лаборатории будут разработаны образовательные программы для LLM-направления в AI Talent Hub. Они нацелены на подготовку специалистов в различных аспектах работы с большими языковыми моделями. В частности, обучение будет включать:

  • Подготовку исследователей, которые будут разрабатывать и внедрять open-source решения, способствующие прогрессу в области ИИ.
  • Обучение ML-инженеров, способных интегрировать новые технологии в бизнес-процессы, включая вывод LLM в продакшн и их оптимизацию.
  • Подготовку разработчиков ИИ-продуктов, которые смогут создавать и внедрять инновационные решения на основе LLM и генеративного ИИ в различных отраслях.

Одним из ключевых курсов в рамках LLM-направления станет «Безопасность LLM». Его программа охватывает актуальные вопросы безопасности и этики в сфере ИИ, включая уязвимости моделей и методы их защиты. Курс сочетает теоретическую подготовку и практические упражнения, что позволяет студентам готовиться к решению реальных бизнес-задач в области безопасности ИИ.

Студенты курса уже протестировали выравнивание открытых и частных моделей, а также провели успешные испытания LLM-чат-бота для крупной ритейл-компании из бьюти-сферы.

«
За последний год мы наблюдаем массовую адаптацию и повышенный интерес к технологиям генеративного ИИ со стороны бизнеса. Важным аспектом этой адаптации является защита информации и коммерческой тайны компании. Мы видим, как активно развиваются методы атак на большие языковые модели и сложные ИТ-системы, которые интегрируют их в бизнес-процессы. В нашей лаборатории студенты будут работать над прикладными задачами, проводить аудит LLM приложений и разрабатывать специализированные решения, направленные на повышение безопасности, — прокомментировал руководитель ИИ-продуктов Raft Евгений Кокуйкин.
»

«
Площадка AI Talent Hub задумывалась, как место встречи технологичных компаний, университета и талантов, в рамках которой рождаются новые знания, новые технологии, инновации. Мы приветствуем нового партнера для работы над развитием применения генеративных сетей в корпоративном бизнесе, — прокомментировал коммерческий директор Napoleon IT Константин Прайс.
»


Цифровой паспорт (1 проект)

Список известных внедрений ИТ-систем в организации. Добавить проект.

СМ. ТАКЖЕ (1)