Инструмент для очень быстрой бизнес-аналитики: Arenadata QuickMarts

Антон Коваленко Директор департамента продуктового маркетинга Arenadata

На современном рынке можно найти множество вариантов специализированных СУБД, разработанных для эффективного решения определенных задач. Одной из таких СУБД является продукт Arenadata QuickMarts (ADQM), разработанный на базе технологии с открытым исходным кодом ClickHouse. Как показывают результаты проведенного синтетического теста и опыт реального использования, ClickHouse и ADQM могут выполнять аналитические запросы в разы быстрее, чем многие другие решения и технологии, присутствующие на международном и российском рынке. Чем еще ADQM отличается от похожих продуктов, где применяется и каких результатов помогает достичь бизнесу, расскажем в этой статье.

О решении ADQM: возможности, сценарии применения, преимущества

ADQM — это кластерная колоночная СУБД на основе технологии ClickHouse, ставшей фактически отраслевым стандартом для реализации задач оперативной бизнес-аналитики на больших объемах данных. Продукт подходит компаниям, которым нужна быстрая аналитика, и может применяться в различных сферах бизнеса.

Продукт оптимизирован для хранения информации в колоночных форматах, что позволяет до 2,5 раз повысить скорость формирования аналитических отчетов. Такие результаты особенно востребованы в следующих прикладных отраслях работы с данными:

• Реализация слоя витрин данных (DataMart) в рамках корпоративного хранилища данных (КХД).
  ADQM позволяет анализировать большой объем данных многократно быстрее традиционных СУБД, снижая при этом нагрузку на основное хранилище.
• Временные ряды (timeseries).
  СУБД эффективна для хранения и анализа временных рядов, например, в задачах анализа данных финансовых рынков или промышленных решениях интернета вещей (IIoT).
• Проверка гипотез для ML-задач.
  ADQM имеет встроенные модели для применения ML-алгоритмов и может стать источником данных для них.
• Анализ логов.
  СУБД позволяет эффективно собирать журналы метрик и событий из разных источников для дальнейшего анализа.
• E-commerce и финансы.
  Решение реализует возможность быстро сохранять данные e-commerce, такие как бизнес-транзакции, поведение пользователей и рекламные данные, и создает на их основе гибкие BI-отчеты.

Стоит также отметить, что, развивая ADQM, разработчики Arenadata вносят активный вклад в ядро ClickHouse. В 2023 году компания вошла в топ-5 основных контрибьюторов проекта с исходным кодом среди мирового сообщества. Специалисты отлично знают технологию, на основе которой построен продукт, и умеют ориентировать его под нужды заказчиков.

ADQM на основе набирающей популярность во всем мире технологии ClickHouse рассматривается компанией как один из ключевых и перспективных компонентов платформы Arenadata с точки зрения ее дальнейшего развития. По этой причине последние несколько лет компания вкладывает значительные ресурсы в доработку данного продукта, расширяя команду и решая все более сложные и амбициозные задачи в части его адаптации для использования в корпоративном сегменте, — отмечает Антон Коваленко, директор департамента продуктового маркетинга Arenadata.

Среди ключевых преимуществ ADQM можно отметить:

• ADQM получил сертификат соответствия ФСТЭК РФ.
  Продукт сертифицирован по требованиям шестого уровня доверия и технических условий и соответствует самым высоким законодательным требованиям к отечественным решениям. На основе технических заключений Arenadata QuickMarts внесен в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации от 8 июня 2023
• Оригинальная русскоязычная документация и техническая поддержка.
  Для ADQM, как и для всех продуктов Arenadata, создана и постоянно поддерживается в актуальном состоянии оригинальная документация на русском и английском языках, а служба технической поддержки компании оперативно реагирует на проблемы заказчиков любого уровня и помогает их решать в рамках SLA.
• Консалтинговые услуги.
  Архитекторы и инженеры компании помогают клиентам с проектированием систем, техническим анализом и установлением связи бизнес-задачи и технической реализации.
• ADQM можно использовать в связке с Arenadata DB (ADB).
  ADQM можно использовать самостоятельно, но у технологии есть ряд ограничений, не позволяющих использовать его в качестве полноценного КХД. Для таких задач мы рекомендуем заказчикам использовать продукты ADQM и ADB совместно с помощью новой версии Tkhemali-коннектора.
  Данный коннектор используется для передачи данных между ADB и ADQM (ClickHouse). Инструмент реализован на базе foreign data wrapper (инструмент, позволяющий работать с данными из разных источников) и foreign-таблиц (внешних таблиц). Благодаря этому упрощен синтаксис и появились возможности удобно и безопасно управлять учетными данными, обеспечивать многоуровневые настройки соединения, эффективно распределять нагрузки по хостам, гибко управлять кастомными настройками и контролировать освобождение ресурсов.

Кроме того, техническая зрелость и функциональность решения позволяет использовать ADQM для замещения продуктов многих иностранных вендоров, среди которых Oracle Exadata, Microsoft SQL, Teradata, SAP BW/4HANA, Vertica, Amazon Timestream и InfluxDB Enterprise.

Применение ADQM: кейс компании

Как мы отметили выше, ADQM подходит компаниям из разных сфер бизнеса, среди которых промышленность, FMCG, ритейл и e-commerce, банки, телекоммуникации и госсектор.

Один из клиентов компании — федеральное ведомство, решившее построить новую единую интеграционно-аналитическую платформу. Задача возникла в связи с устареванием оборудования, ускорившимся ростом данных, практически полной утилизацией возможностей использования ресурсов машин баз данных и запретом на дальнейшее обновление систем Teradata.

Основой новой платформы стало озеро данных с соответствующим набором слоев данных, функционирующее на базе другого продукта Arenadata — Arenadata Hadoop. Для создания были также использованы Arenadata Streaming, Arenadata DB, Arenadata QuickMarts и Picodata.

В рамках реализации проекта предстояло перенести из систем Teradata в новое хранилище 30 приложений аналитических задач, около 50 форм отчетности, свыше 48 тыс. объектов — всего приблизительно 95 Тб данных, размещенных на двух программно-аппаратных комплексах объемом 66,0 и 28,67 Тб.

Вначале была произведена миграция на ПО Arenadata ресурсоемких задач, что позволило снять высокую нагрузку с текущего промышленного контура, где продолжали функционировать машины баз данных Teradata, и обеспечить оптимальную работу до завершения процессов миграции. На следующем этапе миграции на продукты Arenadata перешли блоки сложнозависимых и взаимоувязанных задач в части данных и процессов.

Процесс импортозамещения в данном ведомстве все еще продолжается. В настоящий момент идут работы по замещению Oracle Exadata, и скоро эта система перестанет быть источником данных для аналитической платформы.

В ближайших планах компании — завершение процедуры сертификации ADQM во ФСТЭК по четвертому уровню доверия для его использовании в рамках ЗОКИИ, а также реализация нового модуля ADQM Control, который существенно расширит возможности заказчиков в части мониторинга и управления кластерами ADQM, — резюмирует Антон Коваленко.