| Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
| Разработчики: | Институт Искусственного Интеллекта (AIRI) |
| Дата премьеры системы: | 2024/04/17 |
| Технологии: | Речевые технологии |
2024: Представление OmniFusion 1.1
Научно-исследовательский институт ИИ (AIRI) в апреле 2024 года представил открытую версию модели OmniFusion – OmniFusion 1.1. Технический репорт со статьей модели уже вышел на первое место в разделе Daily trending papers на HuggingFace. На апрель 2024 г. открытый исходный код для обучения и веса доступны к использованию и могут быть применены в том числе при разработке коммерческих продуктов.
OmniFusion — это передовая мультимодальная модель ИИ, предназначенная для расширения возможностей традиционных систем обработки языка за счет интеграции дополнительных модальностей данных, например, изображений, а в перспективе – аудио, 3D- и видеоконтента.
На середину апреля 2024 г. модель распознает и описывает изображения. С ее помощью можно объяснить, что изображено на фото, узнать рецепт для приготовления блюда по фотографии ингредиентов, проанализировать карту помещения или узнать, как собрать устройство по фото отдельных его частей. Модель также умеет распознавать текст и решать задачи.
На 10 апреля 2024 г. модель может проанализировать медицинское изображение и указать на нем какую-то проблему. Разумеется, для того, чтобы подобная модель помогала ставить диагнозы, ее необходимо дополнительно обучать на профильных датасетах с привлечением экспертов из медицины. Каждый эксперт является профессором медицины или хирургии с постоянной практикой, сертификатом Совета директоров и безупречными полномочиями. В случае же, если обучение будет через информацию из поисковых систем, то результат может быть вредным для будущих пользователей ИИ-моделью.
В основе архитектуры модели лежит методика совмещения предварительно обученной большой языковой модели и ее «глаз» – визуальных энкодеров, которые позволяют кодировать информацию на изображении в числовой вектор, называемый эмбеддингом. Обучением OmniFusion занимается научная группа FusionBrain из AIRI при участии ученых из Sber AI и SberDevices[1].
Подрядчики-лидеры по количеству проектов
Группа компаний ЦРТ (Центр речевых технологий) (45) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (29) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (27) SteadyControl (18) Naumen (Наумен консалтинг) (15) Другие (196) Группа компаний ЦРТ (Центр речевых технологий) (5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4) SteadyControl (4) Naumen (Наумен консалтинг) (2) Neuro.net (Нейро) (2) Другие (17) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7) Naumen (Наумен консалтинг) (3) Voice Systems Robotics (VSR, VS Robotics) (3) SteadyControl (2) Другие (14)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Группа компаний ЦРТ (Центр речевых технологий) (18, 47) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4, 30) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (12, 29) SteadyControl (1, 23) SteadyControl HoReCa (1, 23) Другие (381, 217) Группа компаний ЦРТ (Центр речевых технологий) (2, 5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 5) SteadyControl (1, 4) SteadyControl HoReCa (1, 4) SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2) Другие (9, 13) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) Naumen (Наумен консалтинг) (1, 3) SteadyControl (1, 3) SteadyControl HoReCa (1, 3) Другие (12, 16) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9) Группа компаний ЦРТ (Центр речевых технологий) (4, 7) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) SteadyControl (1, 7) SteadyControl HoReCa (1, 7) Другие (18, 30) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) Сбербанк (3, 5) SteadyControl HoReCa (1, 5) SteadyControl (1, 5) СалютДевайсы (ранее SberDevices) (2, 4) Другие (25, 39)Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
МТС Exolve Голосовой робот - 29 (5, 24) SteadyControl Система контроля и управления персоналом - 23 (23, 0) BSS Digital2Speech - 21 (21, 0) Voice2Med Система распознавания речи в медицине - 14 (14, 0) Naumen Erudite - 13 (13, 0) Другие 152 BSS Digital2Speech - 5 (5, 0) SteadyControl Система контроля и управления персоналом - 4 (4, 0) Voice2Med Система распознавания речи в медицине - 4 (4, 0) МТС Exolve Голосовой робот - 2 (0, 2) Neuro.net Голосовой робот - 2 (2, 0) Другие 8 МТС Exolve Голосовой робот - 12 (1, 11) BSS Digital2Speech - 6 (6, 0) Naumen Erudite - 3 (3, 0) VS Robotics: VS Робот-оператор - 3 (3, 0) SteadyControl Система контроля и управления персоналом - 3 (3, 0) Другие 0 МТС Exolve Голосовой робот - 9 (0, 9) SteadyControl Система контроля и управления персоналом - 7 (7, 0) EXpress Защищенный корпоративный мессенджер - 6 (6, 0) BSS Digital2Speech - 6 (6, 0) SmartLogger II - 4 (4, 0) Другие 12 SteadyControl Система контроля и управления персоналом - 5 (5, 0) BSS Digital2Speech - 4 (4, 0) EXpress Защищенный корпоративный мессенджер - 4 (4, 0) Сбер: GigaChat - 3 (3, 0) Robovoice Пользовательская no-code платформа для разработки ИИ-ботов - 3 (3, 0) Другие 28 
