ADS - Arenadata Streaming

Потоковая передача и обработка данных в реальном времени на базе Apache Kafka и NiFi

• Корпоративная шина обмена данными для всех приложений
• Разграничение прав доступа к потокам данных

2024

Поддержка Java 17

Arenadata обновила продукт для потоковой передачи и обработки данных Arenadata Streaming (ADS) и дополняющую его систему Arenadata Streaming Control (ADSC), предназначенную для управления и мониторинга кластеров потоковой передачи. Об этом компания сообщила 24 октября 2024 года. Релизы включают ряд доработок в контексте безопасности, стабильности и удобства администрирования.

В данной версии Arenadata Streaming реализована поддержка Java 17, которая содержит улучшения, направленные на повышение производительности и безопасности. Java 17 — версия с долгосрочной поддержкой (long-term support, LTS), которая будет получать обновления в течение длительного времени.

В состав Arenadata Streaming включён плагин kafka-rest-security, предназначенный для авторизации в сервисе Kafka REST Proxy. По умолчанию пользователь может аутентифицироваться в Kafka только с одним предопределённым принципалом, созданным при включении Kerberos. Плагин, разработанный командой Arenadata, снимает это ограничение и позволяет проходить аутентификацию с разными принципалами, что упрощает контроль доступа пользователей к ресурсам.

Релиз включил обновление версий всех компонентов и сервисов Arenadata Streaming, а также ряд улучшений и багфиксов. В частности, обновлена конфигурационная страница сервиса Kafka и оптимизирована работа с пользовательскими параметрами.

При формировании дорожной карты развития продукта мы принимаем во внимание требования служб безопасности корпоративных заказчиков. В рамках этих требований в новый релиз включили возможность разграничения доступа пользователей Kafka REST Proxy к топикам Kafka, — сказал Александр Анисимов, технический руководитель продукта Arenadata Streaming.

Кроме того, был обновлён сервис Arenadata Streaming Control, который позволяет администраторам управлять всеми аспектами кластеров ADS Kafka. Также улучшено управление коннекторами Kafka Connect, расширяющих возможности брокера по доступу к внешним системам.

В веб-интерфейсе обновленной версии сервиса появилась страница Consumer groups, содержащая информацию о подключённых группах потребителей в кластере. Кроме того, в ADSC реализованы вкладки для страницы Topics, предназначенной для отображения информации о топиках и управления ими в кластере: вкладка Messages позволяет читать и записывать сообщения, а Consumer groups показывает подключённые к топику группы пользователей.

Доступность в облаке MWS

МТС, цифровая экосистема, 26 июля 2024 года сообщила о заключении стратегического партнерства между MTS Web Services (MWS), входит в группу МТС, и Arenadata. В рамках договора MWS запустил пять сервисов на программных продуктах от Arenadata, в том числе и Arenadata Streaming (ADS). Подробнее здесь.

Доступность из облака «Крок»

Крок Облачные сервисы и Arenadata заключили соглашение о партнёрстве, по которому продукты Arenadata стали частью услуг, предоставляемых заказчикам на базе Облака КРОК. В частности, клиентам облачного провайдера теперь доступно решение Arenadata Streaming (ADS). Об этом Крок сообщил 17 января 2024 года. Подробнее здесь.

2023

Поддержка «Ред ОС»

Arenadata 1 ноября 2023 года выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку российской операционной системы РЕД ОС.

Таким образом был расширен перечень поддерживаемых ADS операционных систем, который теперь включает:

• РЕД ОС 7.3;
• CentOS 7.6.1810;
• RHEL 7.6;
• AltLinux 8.4 SP;
• Astra Linux 1.7 «Орёл» SE c Axiom JDK.

Другим важным изменением Arenadata Streaming для пользователей стала реализация шифрования параметров конфигурации NiFi, призванная повысить защищённость кластера.

Помимо этого, обновленная версия ADS включила обновление NiFi до версии 1.20, благодаря чему добавились дополнительные процессоры и был устранён ряд проблем, связанных с информационной безопасностью.

Для клиентов Arenadata важна возможность влиять на карту развития наших продуктов, и данный релиз Arenadata Streaming это подтверждает. Так, в ответ на пожелание одного из наших заказчиков, в NiFi был добавлен дополнительный провайдер потоков GitFlow Provider, — прокомментировал Александр Ермаков, технический директор Arenadata.

Доступность в облаке Cloud.ru

Провайдер облачных и AI-технологий Cloud.ru стал стратегическим партнёром российского вендора ПО для хранения и обработки данных Arenadata. Теперь продукты Arenadata можно использовать в облаке Cloud.ru. Об этом Arenadata сообщила 29 августа 2023 года.

Как уточнили TAdviser представители Arenadata, в облаке Cloud.ru доступны следующие продукты компании: ADB - Arenadata DB, ADH (Arenadata Hadoop), ADQM (Arenadata QuickMarts) и ADS (Arenadata Streaming). Подробнее здесь.

Поддержка Astra Linux Special Edition «Орел»

Arenadata выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку операционной системы Astra Linux Special Edition (релиз «Орел»). Функционал уже доступен пользователям. Об этом компания Arenadata сообщила 10 августа 2023 года.

Совместимость с российской операционной системой Astra Linux означает, что продукт подходит для большого спектра корпоративных ИТ-инфраструктур, включая нуждающихся в повышенном уровне защищённости.

Для клиентов Arenadata важен высокий уровень информационной безопасности. И данный релиз Arenadata Streaming, получивший поддержку Astra Linux, позволит им использовать сертифицированную операционную систему. Для этого мы провели большую работу в части изменения механизмов конфигурации системы управления сервисами и компонентами под операционную систему, — прокомментировал обновление функционала ADS Александр Ермаков, технический директор Arenadata.

Данный релиз Arenadata Streaming включил и другие изменения. Был переработан функционал управления пользователями в интерфейсе универсального оркестратора гибридного ландшафта Arenadata Cluster Manager (ADCM) и индивидуальные настройки сервисов для одного или группы хостов. А также исправлен ряд известных проблем.

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Open source технологий Apache Kafka и Apache Nifi. Продукт включает систему мониторинга и управления, поддержку расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет:

• строить потоковые конвейеры данных в реальном времени, которые надёжно передают данные между системами или приложениями;
• разрабатывать потоковые приложения в реальном времени, преобразующие или реагирующие на потоки данных;
• хранить потоки записей отказоустойчивым долговечным способом;
• разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Помимо этого, продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.

Доступность в beeline cloud

Экосистема продуктов Arenadata теперь доступна клиентам облачного провайдера beeline cloud. Об этом компания Arenadata сообщила 3 августа 2023 года. Как уточнили TAdviser представители Arenadata, в числе продуктов, доступных через beeline cloud: Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Arenadata Postgres, Arenadata QuickMarts и Arenadata Cluster Manager. Подробнее здесь.

Совместимость с платформой Rubbles MLOps Suite

ИТ-компании Rubbles и Arenadata обеспечили совместимость своих программных продуктов. Теперь платформа Rubbles MLOps Suite и решения для хранения и обработки данных Arenadata могут работать бесшовно в едином программном комплексе. Об этом компания Arenadata сообщила 19 июля 2023 года.

Единый программный комплекс объединяет MLOps-решения Rubbles и продукты Arenadata, в том числе и Arenadata Streaming. Подробнее здесь.

Выпуск инструмента для мониторинга и управления коннекторами Apache Kafka в составе Arenadata Streaming

Российский разработчик платформы сбора, хранения и обработки данных — компания Arenadata сообщила 11 января 2023 года о выпуске на рынок инструмента для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). Он получил название Arenadata Streaming Command Center (ADSCC). ADSCC поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.

Arenadata Streaming Command Center дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приёмником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приёмникам. Наиболее востребованные сценарии использования данного инструмента — настройка передачи данных в реальном времени между различными системами, репликация и Disaster Recovery кластеров Kafka.

Выпуская Command Center, компания даёт возможность заказчику быстро настроить Disaster Recovery Kafka кластера и подключить внешние коннекторы (например, Debezium для настройки CDC). При этом закладываем основу для разработки функционала под запросы заказчика с поддержкой вендора, а также включения в продукт ADS других версий Kafka с поддержкой KRaft, пояснил директор департамента управления продуктами Arenadata Александр Большаков.

Ранее при работе с Open Source Kafka Connect пользователям было необходимо вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много ресурсов, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.

Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. Практически мгновенно можно организовать перенос данных из одной точки архитектурного ландшафта в другую, также теперь есть возможность:

• добавлять Kafka-коннекторы и управлять ими;
• отслеживать состояние кластеров Kafka Connect;
• работать с несколькими кластерами одновременно;
• гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
• работать с пользовательскими коннекторами.

Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.

В ближайших планах развития Arenadata Streaming Command Center реализация следующего функционала:

• добавление LDAP/LDAPS-аутентификации;
• мониторинг (количество сообщений, пропускная способность и т.д.) и управление топиками;
• переназначение partitions на другие ноды;
• добавление дашбордов и графиков;
• выбор leader replica.

2022: Kerberos-авторизация для предотвращения несанкционированного доступа

24 февраля 2022 года компания Arenadata сообщила, что предоставила пользователям трёх своих продуктов - Arenadata Hadoop (ADH), Arenadata Streaming (ADS) и Arenadata Platform Security (ADPS) - возможность предотвращать несанкционированный доступ к сервисам и данным кластеров. Теперь достаточно включить Kerberos-авторизацию для всех компонентов, которая позволит хранить авторизационные данные в Active Directory. Подробнее здесь.