Diasoft: Digital Q.DataFlows

Основные статьи:

• Управление данными (Data management)
• Data Quality - Качество данных

2023

Добавление функционала для настройки правил контроля качества данных и low-code обработки данных

«Диасофт» добавил в платформу Digital Q.DataFlows функционал для настройки правил контроля качества данных и low-code обработки данных. Об этом разработик сообщил 15 ноября 2023 года.

Данный компонент упрощает управление данными: он автоматически генерирует ETL-процесс контроля качества данных из шаблона на основании описанных в каталоге данных объектов. Качество данных можно отследить в метрике и детальном протоколе проверки.

Теперь в состав платформы входят три компонента:

• Data Quality Rules Designer позволяет создавать проверки качества данных на основании шаблонов.
• Data Streamer обеспечивает сбор и обработку информации (ETL) и позволяет интегрировать между собой различные информационные системы. Поддерживает сценарий как потоковой, так и пакетной обработки данных.
• Data Catalog отвечает за сбор и ведение метаданных всех информационных источников.

В Digital Q.DataFlows реализована возможность группировать ETL-процессы и включать их в состав создаваемых приложений. Группировка необходима для объединения ETL-процессов и переноса данных в проект прикладного решения и дальнейшей отправки для автоматического развертывания на стендах.

В компоненте Data Streamer появилась возможность обрабатывать данные в low-code режиме на основании мета-описания объектов из каталога данных. Теперь ETL-процесс генерируется автоматически. Также можно настроить автозапуск ETL-процесса по расписанию.

В компоненте Data Catalog расширен функционал генерации скриптов и захвата метаданных. Наборы изменений разбиты на атомарные части, что уменьшает шанс невыполнения их в базе данных. При запуске захвата метаданных из баз данных автоматически генерируется ETL-процесс, управляемый из Data Catalog, а также формируется детальный протокол, в котором можно отследить весь процесс захвата метаданных.

Платформа Digital Q.DataFlows переведена на технологическую платформу Digital Q.Palette. Это позволило сделать дизайн интерфейса более комфортным для пользователей.

Разработка продукта «Архивация данных»

«Диасофт» разработал продукт для архивации данных продуктов в составе платформ развития Digital Q. Об этом компания сообщила 4 июля 2023 года.

Объемы данных постоянно растут, нередко это ведет к замедлению работы ИТ-решений, выполнения регламентных операций, обновления структуры баз данных и других процессов. Вместе с ростом объема данных увеличивается и количество ресурсов, требуемых для их хранения.

Продукт «Архивация данных» предназначен для архивации данных, позволяет увеличить производительность решений и очистить базу от неактуальных данных. Продукт реализован в микросервисной архитектуре на технологической платформе Digital Q.DataFlows, что обеспечивает его работу в режиме 24/7 и высокую производительность процессов архивации данных.

«Архивация данных» позволяет уменьшить объем рабочей базы данных, высвободить дисковое пространство, сократить время проведения регламентных операций, а также избавиться от необходимости резервного копирования базы данных. Сокращение размера базы данных снижает стоимость владения ИТ-решением, работающего на ней.

Алгоритмы архивации гибко настраиваются: они могут выполняться в разрезе продуктов, периодически по запросу или по расписанию. Протокол архивации данных ведется автоматически. Продукт «Архивация данных» сохраняет связанную с архивными данными информацию и имеет функцию быстрого поиска и просмотра архивных данных.

2022

Интеграция с PostgreDB

Компания «Диасофт» 17 апреля 2023 года сообщила о начале выпуска версий продуктов, входящих в состав платформ развития Digital Q.FinancialMarkets, Digital Q.Consumer, Digital Q.Corporate и Digital Q.Payments (ранее – продукты линейки Diasoft FA#), с поддержкой работы на импортонезависимой СУБД Digital Q.DataBase. Особенностью выпуска продуктов является автоматическая конвертация исходного кода, которая включена в процесс сборки программных продуктов (pipeline). Это позволяет получить одновременно две версии продуктов с единым исходным кодом: в синтаксисе MS SQL и синтаксисе PostgreSQL, которые одинаково успешно проходят функциональные тесты.

Для минимизации количества ошибок, которые могут возникнуть в связи с особенностями PostgreSQL, специалистами компании «Диасофт» был доработан и встроен в pipeline сборки продуктов инспектор кода, выявляющий некорректные с точки зрения конвертации синтаксические конструкции и их последовательности.

Преобразование кода из синтаксиса MS SQL в синтаксис PostgreSQL обеспечивает конвертер, разработанный специалистами «Диасофт». Он не меняет прикладную бизнес-логику работы продуктов и состав данных, которыми они оперируют, что минимизирует количество возможных ошибок при использовании программных продуктов. Также конвертер кода может быть использован для адаптации собственных разработок банка для поддержки PostgreSQL.

Теперь продукты для комплексной автоматизации банков, входящие в состав платформ развития Digital Q.FinancialMarkets, Digital Q.Consumer, Digital Q.Corporate и Digital Q.Payments (ранее – продукты линейки Diasoft FA#), интегрированы с компонентом PostgreDB импортонезависимой СУБД – инфраструктурной платформы Digital Q.DataBase. В основе компонента – open source решение PostgreSQL, которое компания «Диасофт» взяла под ответственное владение и существенно доработала для обеспечения корректной и эффективной работы продуктов для комплексной автоматизации банков в синтаксисе PostgreSQL. Платформа Digital Q.DataBase входит в экосистему цифровой трансформации Digital Q.

На апрель 2023 года проводится нагрузочное тестирование работы продуктов для комплексной автоматизации банков на Digital Q.DataBase.

Digital Q.DataQuality для контроля качества данных

Успех любой организации зависит от ее способности работать с большими массивами данных. Особого контроля требует качество поступающих данных: использование неполных или недостоверных данных для принятия решений может привести к ущербу для бизнеса. Проверить качество данных поможет Digital Q.DataQuality – решение компании «Диасофт» в составе технологической платформы Digital Q.DataFlows. Оно обеспечивает анализ качества данных, мониторинг метрик качества и устранение ошибок в данных, поступающих из различных источников. Об этом 20 января 2022 года сообщили в «Диасофт».

Функционал Digital Q.DataQuality позволяет настраивать процессы проверки данных с учетом индивидуальных требований к параметрам качества данных и периодичности контроля, который встраивается в бизнес-процессы организации. По результатам проверок создаются подробные отчеты с возможностью формирования аналитических справок, визуализации протоколов на дашборде качества данных.

«При загрузке данных из внешних источников, изменении формата их хранения и других действиях с большими объемами данных ошибки неизбежны. Digital Q.DataQuality помогает организовать полноценный циклический процесс управления качеством данных, централизованно отслеживать и устранять все виды возникающих ошибок. Специалистам из различных организаций больше не понадобится тратить время и силы на выверку данных, а главное – снизится риск влияния неполных или недостоверных данных на бизнес-показатели», - подчеркнула Ольга Ширяева, руководитель продуктов департамента «Экономика данных» компании «Диасофт».

Решение Digital Q.DataQuality создано в микросервисной архитектуре и легко встраивается в ИТ-ландшафт любой организации. Оно может работать как в архитектуре «Диасофт», так и в сочетании с продуктами других вендоров. По состоянию на январь Digital Q.DataQuality апробировано и уже используется во внутренних бизнес-процессах компании «Диасофт».

2021: Создание платформы Digital Q.DataFlows

12 июля 2021 года компания «Диасофт» сообщила о том, что работает над созданием технологической платформы Digital Q.DataFlows, основываясь на микросервисной архитектуре и Open Source технологиях. Платформа призвана предоставить банкам набор инструментов управления данными и простой доступ к этим инструментам. Это позволит легко создавать, разворачивать и наполнять данными различные аналитические системы. Платформа объединит в себе разные подходы к обработке данных, что сделает возможным проведение обновлений аналитических систем в режиме реального времени.

Наша задача предоставить клиентам такой набор инструментов, который может быть легко встроен в ИТ-ландшафт организации по обработке данных и позволит создавать аналитические приложения в разной архитектуре. Мы много инвестируем в создание технологической платформы, используем наши наработки и готовые, зарекомендовавшие себя Open Source технологии, сказал Игорь Шабанин, заместитель директора департамента «Экономика данных» компании «Диасофт».

На июль 2021 года «Диасофт» работает над созданием трех независимых друг от друга компонентов – это позволит по отдельности использовать инструменты платформы, встраивая их в архитектуру банка.

Компонент Q.DataCatalog платформы Digital Q.DataFlows отвечает за автоматизацию управления метаданными из любой информационной системы в едином месте, предоставляя пользователям полный контекст для аналитики данных и отчетности. С помощью этого инструмента можно визуализировать путь данных (Data Linage) на детальном уровне от источников до конечных витрин и отчетов.

Q.DataStreamer, второй компонент платформы, который позволяет быстро создавать процессы извлечения и преобразования данных в простом интерфейсе, пользователь системы сможет рисовать ETL-процессы без кодирования. Также компонент дает возможность автоматизировать сложные процессы из множества потоков данных для работы с Data Lake и Data Warehouse.

Контроль качества, или компонент Q.DataQuality, в свою очередь, позволяет встроить проверки в потоки данных для контроля качества данных в рамках общих процессов организации – с ним можно разрабатывать, отслеживать, вести статистику правил контроля и работать с инцидентами. Компонент дает возможность формировать аналитику и визуализировать результаты проверок и протоколов на дашборде качества данных. Этот компонент может работать как в архитектуре «Диасофт», так и со сторонними системами.

Уже в 2021 году специалисты «Диасофт» планируют значительно продвинуться в разработке всех компонентов технологической платформы Digital Q.DataFlows и сделать их доступными для внедрения.