Monitoring Almaz

Основные статьи:

• Управление качеством данных
• Управление данными (Data management)

Самообучающийся адаптивный мониторинг качества сервисов и отчетности «Алмаз»

Задачи

• Требуются постоянно качественные данные в финансовой и оперативной отчетности, промышленных агрегатах и представлениях
• Требуется real-time мониторинг технологических, экономических и операционных KPI в больших потоковых данных
• Требуется своевременная реакция на любые нештатные ситуации до того как они окажут существенное влияние

Функции решения

• Непрерывный автономный мониторинг качества отчетности и потоковых данных
• Незамедлительная нотификация в случае обнаружения статистически значимых отклонений. Уведомления в мобильном приложении.
• Самообучающая на имеющихся данных и подстраивающаяся под действия пользователя система, не требующая экспертных знаний

Самообучающийся контроль качества данных

Мгновенное выявление атипичных

• Сезонности
• Выходных и праздничных дней
• Временных суточных интервалов
• Статических выборов
• Специфики типовых отклонений

Непрерывное автоматизированное машинное обучение

• Скользящее среднее
• Доверительные долевые интервалы
• Автокорреляция
• Регрессия
• Набор специализированных типовых
• проверок
• Алгоритмы CUSUM и Shewhart
• Исторические и потоковые данные

Промышленный непрерывный мониторинг качества поступающих данных

• Регулярная BI отчетность
• Аналитические агрегаты
• Потоковые данные реального времени
• Операционная отчетность
• Высоконагруженные технологические процессы
• Большие данные

Схема решения Monitoring Almaz

Схема решения Monitoring Almaz

Библиотека объектов мониторинга Almaz

Создание нового мониторинга Almaz

• Система позволяет задать поля и группировки мониторинга
• Система сканирует данные и определяет их тип и особенности (дискретные, строковые, непрерывные, справочные / категориально-долевые и т.п.) для выбора оптимальных моделей

Визуализация отклонений Almaz

Управление инцидентами в Trello

Архитектура решения Almaz

На примере данных сетевых проб можно видеть, что машинное обучение системы «Алмаз» качественным образом описывает поведение потока, не смотря на сильные всплески в течение дня и значительные суточные колебания

Пример доверительного интервала

Похожие продукты

• Informatica Proactive Monitoring for Data Quality
• Informatica Data Quality
• SAS Data Quality
• InfoSphere Information Server for Data Quality
• IBM Information Server
• Trillium Software Data Quality
• SAP Data Quality Management

Состав классического Data Quality продукта

• Средство анализа/визуализации данных для исследователей
• Библиотека правил. Эксперты создают правила валидации, эксперты периодически обновляют правила валидации
• Проверка качества вводимых данных по шаблонам (адреса, e-mails и т.п.)
• Мониторинг и нотификации

(данные актуальны на 2017г.)