RT.Streaming
Инструмент для транспортировки и преобразования данных

Основные статьи:

• Управление данными (Data management)
• ETL (Extract Transform Load)

RT.Streaming – это импортонезависимый инструмент для транспортировки и преобразования данных. Продукт позволяет выгружать, обрабатывать и загружать данные таким образом, чтобы минимизировать нагрузку и на источники, и на хранилище или другую систему-приемник.

2022: Возможности и особенности

По состоянию на июль 2022 года RT.Streaming позволяет:

• работать с разными технологиями источников и приемников (от реляционных БД до потоковых данных);
• загружать данные разными способами event (реал тайм), batch (по регламенту), near realtime
• автоматизировать получение данных в нужном формате с преобразованиями по расписанию с применением различных условий и настраиваемой бизнес-логикой
• подключаться к системе-источнику по настроенным правилам в моменты низкой нагрузки
• хранить данные до отгрузки в систему-приемник

RT.Streaming включает в себя 3 open-source компонента для решения задач ETL:

• Kafka – работа с потоковыми данными, буферизация данных, поддержка одновременно нескольких источников загрузки;
• NiFi – визуальный интерфейс, загрузка данных в пакетном и потоковом режимах;
• AirFLow – работа по расписанию, настройка сложных процессов и алгоритмов.

Объединение нескольких инструментов в одном продукте позволяет решить любые задачи загрузки\преобразования и выгрузки данных независимо от того, какие системы стоят в компании и какие задачи решаются.

В числе особенностей продукта разработчики отметили следующие:

• 1. Импортонезависимый продукт, зарегистрированный в реестре отечественного ПО;
• 2. Использование защищенного репозитория с исходным кодом и поддержка отечественных ОС;
• 3. Автоматизация сервисных функций: установка, настройка кластера, мониторинг работоспособности и решения инцидентов (механизмы администрирования и решения проблем);
• 4. Поддержка в режиме 24х7. Географически распределенная команда поддержки и полноценный комплект технической и эксплуатационной документации на русском языке;
• 5. Гибкость использования. Продукт доступен в двух варианта: облачном и on-premises;
• 6. Удобный пользовательский интерфейс. Простая организация разработки и тестирования.

RT.Streaming может быть полезен в любых задачах, где необходимо автоматизировать процессы загрузки, преобразования и выгрузки данных из множества источников по сложным алгоритмам и правилам.

Продукт может применяться совместно с RT.ClusterManager.