ITSumma ITS Data Processing Platform

Основная статья: Большие данные (Big Data)

ITS Data Processing Platform - решение в сфере обработки больших данных, которое можно развернуть в рамках отдельного проекта или использовать как часть подсистемы проектов по автоматизации, созданию интеллектуальных систем и систем мониторинга.

2023

Включение в реестр отечественного ПО

17 октября 2023 года под номером № 19542 в Единый реестр российских программ для ЭВМ и баз данных включена платформа ITS DPP. Об этом компания ITSumma (Сумма АйТи) сообщила 31 октября 2023 года.

ITS DPP (ITS Data Processing Platform) — это платформа для анализа, хранения и обработки больших данных на базе ПО с открытым исходным кодом. Стек решения включает в себя: Apache Kafka, Apache Spark, Apache Airflow, Apache Hadoop, Greenplum, Apache Superset Redash, Prometheus.

ITS DPP будет полезна, если необходимо:

• Построить систему хранения, обработки и анализа данных с нуля.
• Быстро развернуть инфраструктуру для хранения и анализа данных.
• Создать витрины данных, организовать процессы обработки данных, реорганизовать хранение данных.
• Оптимизировать структуру, снизить издержки и избежать при этом ресурсных потерь.

С помощью платформы дата-инженеры смогут:

• Создать Data Lake или Data Warehouse для хранения структурированных и неструктурированных данных.
• Организовать сбор данных из разнородных источников в единое хранилище
• Настроить ETL/ELT преобразования.
• Организовать проверку качества данных.
• Настроить потоковую и пакетную обработку данных.
• Организовать контроль и доставку кода для обработчиков данных.
• Настроить дашборды с разными уровнями доступа для различных подразделений.

Решение построено по модульному принципу. Модули отвечают за отдельные задачи, такие как сбор, обработка, хранение и преобразование данных. В полной комплектации ITS DPP может обрабатывать данные пакетным или потоковым методом, хранить необработанные, структурированные и неструктурированные данные различного объема, формировать витрины данных. Вместе с платформой поставляется модуль управления и мониторинга отдельных компонентов.

ITS DPP полностью отечественная разработка и замещает многие зарубежные решения.

Решаемые задачи

На февраль 2023 года платформа ITS DPP решает следующие задачи:

• Построение системы хранения, обработки и анализа данных с нуля, при этом гибкость подхода позволяет сформировать решение любой сложности и мощности.
• Построение достоверных графиков в реальном времени по большим объемам данных.
• Автоматизированное построение отчетов для минимизации человеческого фактора.
• Минимизация времени «простоя» производства, увеличение ежегодной добычи энергоресурсов и снижение убытков от неэффективного использования оборудования.
• Оптимизация производственной цепочки и снижение ошибок при прогнозировании спроса, снижение убытков от хранения избыточных оборотных средств, убытков от задержек в производстве.
• Переезд с проприетарного стека ПО на open-source-компоненты, для поддержки которых легко найти инженеров на рынке.
• Запуск MVP/пилотных версий проектов, требующих наличия системы обработки и анализа данных.
• Переезд с зарубежных облачных BigData-сервисов.