"Евраз" и GlowByte разработали систему федеративного real-time-мониторинга

2023: Тестирование Kolmogorov Predicate

ЕВРАЗ при поддержке практики Advanced Analytics GlowByte пропилотировал внедрение в свою ModelOps-инфраструктуру решения Kolmogorov Predicate для задач распределенного real-time-мониторинга качества работы ML-моделей. Об этом 30 января 2024 года сообщили представители GlowByte.

ПО Kolmogorov AI разработано российским вендором Data Sapience. Система Kolmogorov Predicate расширяет возможности корпоративной платформы ModelOps в ЕВРАЗе, позволяет контролировать и анализировать работу моделей машинного обучения в реальном времени даже при условии использования их в ряде алгоритмов математической оптимизации, когда количество предсказаний в секунду может превышать десятки тысяч.

Расчет метрик мониторинга производится асинхронно с сервисами исполнения моделей и никак не влияет на их работу. Такой подход позволяет сохранять оперативность мониторинга и при этом не перегружать сервисы исполнения моделей.

Решение легко интегрируется в существующие Python-пайплайны обучения моделей. Благодаря этому система позволяет быстро подключать мониторинг не только для новых моделей, но и для уже работающих в рамках информационных систем моделей, внутри платформ OpenShift или Kubernetes.

Система предоставляет гибкие возможности по конфигурированию метрик и их мониторингу, используя интуитивно понятный пользовательский интерфейс.

В связи с активной адаптацией технологий анализа данных и искусственного интеллекта возможность оперативного мониторинга и управления моделями машинного обучения и продвинутой аналитики становится ключевой для успешного ведения любого бизнеса. Благодаря сотрудничеству с коллегами из ЕВРАЗа мы смогли добавить важный функционал распределенных и федеративных вычислений в ядро нашей платформы Kolmogorov и, в частности, в модуль мониторинга моделей Predicate, – отметил Михаил Зайцев, владелец продукта Kolmogorov, Data Sapience.

Раньше мы использовали стандартные инструменты для мониторинга моделей. Поскольку они рассматривают каждое предсказание независимо, то требования к используемым ресурсам растут прямо пропорционально количеству предсказаний. В рамках Lean-подхода повсеместное использование таких инструментов непозволительно, а отсутствие мониторинга для оптимизации рождает потребность привлечения разработчика для разбора любых неоднозначных моментов в ходе эксплуатации. Новая же система способна рассматривать тысячи и миллионы предсказаний, выполняемых в рамках оптимизационных алгоритмов как единую сущность. Эту систему нам помогли разработать и пилотировать коллеги из GlowByte. Благодаря ей мы сможем без кратного роста требований к ресурсам внедрять мониторинг в том числе на проектах, использующих методы оптимизации, - сказал Андрей Зубков, лидер направления ИИ, начальник управления разработки информационных систем ЕВРАЗа.