Arenadata DB как замена SAP BW, Oracle и Teradata

Антон Коваленко Директор департамента продуктового маркетинга Arenadata

Краткий обзор ушедших компаний, предоставлявших ПО

Если говорить о ранее распространенных решениях для управления данными, то каждое из них имело свои особенности.

1. SAP BW часто использовали компании, где были внедрены другие продукты SAP. Многие строили целые экосистемы вокруг ПО SAP. Комплексность и замкнутость решений SAP является причиной сложности миграции на продукты других вендоров.

Основные особенности:

• SAP BW тесно интегрирована с другими продуктами SAP (SAP PI/PO, SAP Data Services), что позволяет эффективно использовать данные из различных бизнес-приложений.
• Предлагает мощные инструменты для моделирования данных и поддерживает сложные аналитические сценарии.
• Обеспечивает создание и выполнение отчетов в режиме реального времени, тем самым помогала бизнесу принимать обоснованные решения.

2. Oracle Database была достаточно универсальным решением для различных задач управления данными и аналитики.

Основные особенности:

• Помимо программного обеспечения, Oracle предлагает программно-аппаратный комплекс Exadata, который известен своей способностью масштабироваться под большие нагрузки.
• База данных Oracle поддерживала широкий спектр функций для работы с данными.
• Компания Oracle предлагала множество дополнительных инструментов и решений для управления данными и бизнес-аналитики.

3. Система Teradata изначально создана для высокопроизводительной аналитики и способна эффективно обрабатывать сотни терабайт данных.

Основные особенности:

• Обеспечивала горизонтальное масштабирование, позволяя адаптироваться к растущим потребностям бизнеса.
• Включала расширенные функции для анализа данных, поддержки многомерных моделей и выполнения сложных запросов.

Выбор между продуктами этих зарубежных вендоров зависел от специфических требований и приоритетов бизнеса.

С чем столкнулись компании в процессе миграции на отечественное ПО

Миграция на российское ПО для аналитики и хранения данных стала актуальной задачей для многих компаний. Однако этот процесс сопряжен с рядом сложностей и вызовов, которые необходимо учитывать.

1. Интеграция.
   1. Интеграция нового ПО с имеющейся ИТ-инфраструктурой с большой долей вероятности потребует решения сложной и ресурсоемкой задачи переработки ИТ-архитектуры и изменения бизнес-процессов.
2. Переписывание и адаптация кода.
   1. Переход на новые системы потребует значительного либо даже полного рефакторинга существующего SQL-кода для реляционных баз данных или создания с нуля, если речь идет о замене SAP BW, что может занять много времени и ресурсов.
   2. Приложения и скрипты, разработанные для предыдущих систем, потребуют адаптации под новые решения, что увеличит сложность проекта и потребует существенных дополнительных трудозатрат.
3. Поиск и обучение специалистов.
   1. Сотрудникам требуется обучение для работы с новыми инструментами и системами, что может временно снизить производительность компании.
   2. Рынок готовых специалистов очень конкурентный ввиду ограниченности ИТ-кадров и высокого спроса на них.
4. Экономические и временные затраты.
   1. Процесс миграции может потребовать значительных финансовых вложений на адаптацию и внедрение систем, а также на обучение сотрудников.
   2. Миграция может занять длительное время, что приводит к временным задержкам в реализации бизнес-проектов и снижению оперативной эффективности.
5. Риски и надежность.
   1. В процессе миграции существует риск сбоев и потери данных, что требует создания надежных механизмов резервного копирования и восстановления.
   2. Некоторые решения могут быть менее проверенными и надежными, что может привести к непредвиденным проблемам в будущем.

Что такое Arenadata DB и каковы ее особенности

На отечественном рынке есть уже зарекомендовавшие себя решения вендоров, миграция на которые позволяет избежать некоторых из вышеперечисленных сложностей и провести эффективное импортозамещение с указанных выше решений.

Arenadata DB (ADB) — аналитическая распределенная MPP-СУБД, построенная на базе проекта с открытым исходным кодом Greenplum. Применяется в критически важных системах, работающих с большими объемами данных.

ADB представляет собой мощную и гибкую альтернативу таким признанным решениям, как SAP BW (в части СУБД), Oracle и Teradata. Благодаря своей открытости, масштабируемости, экономической эффективности и поддержке современных технологий, ADB становится все более привлекательным выбором для компаний, стремящихся оптимизировать управление данными и снизить операционные расходы.

Основные особенности:

• Возможность обработки больших объемов данных (до десятков петабайт).
• Отсутствие привязки к вендору. Может быть размещена в ЦОД заказчика, на виртуальных машинах, в частных и публичных облаках, а также позволяет стать частью гибридной ИТ-инфраструктуры или поддержать стратегию размещения решения в облаках разных поставщиков.
• Гибкость и производительность при обмене данными с внешними системами и простота интеграции с источниками данных и аналитическими системами:
  • В ADB реализован механизм параллельного обмена данными со сторонними системами — PXF (Platform eXtension Framework).
  • ADB предоставляет набор коннекторов для параллельной загрузки и выгрузки данных из сторонних систем.
  • Соответствие требованиям информационной безопасности и сертификация ФСТЭК.

Использование комплексного решения Arenadata DB. Примеры клиентов

Кейс ВТБ

Банк ВТБ столкнулся с ситуацией вывода из поддержки продуктов компании Oracle и Teradata. Основная сложность заключалась в том, что у архитекторов и разработчиков ВТБ был небольшой опыт работы с ADB. Благодаря техническим курсам Arenadata, поддержке со стороны инженеров компании и внимательному подходу со стороны специалистов, ВТБ удалось найти пути быстрой миграции процессов на работу в Arenadata DB. Реализация миграции на Arenadata DB на текущем этапе обеспечивает банку ряд технологических и бизнес-преимуществ:

1. Повышение качества и доступности данных в 2 раза.
2. Снижение общей стоимости владения платформой.
3. Стопроцентное исключение санкционных рисков и рисков, связанных с волатильностью курса рубля.
4. Максимальная скорость предоставления критически важных для бизнеса данных.

Кейс X5 Group

Изначально в компании X5 Group большая часть аналитической нагрузки приходилась на хранилище SAP BW, которое располагалось в облаке SAP HEC. Весной 2022 года возникла необходимость в кратчайшие сроки вынести данные на собственные серверы, в свой ЦОД. Уровень сложности задачи миграции оценивался как максимально высокий: свыше 1000 отчетов, более 10 000 пользователей, суммарный объем данных в хранилище после выполнения миграции с SAP BW достигал 300 ТБ. Для решения этой задачи была запущена целевая платформа, основанная на Arenadata DB. На нее легла нагрузка формирования операционных отчетов, регламентной управленческой аналитической отчетности, а также продуктов аналитики больших данных. Возможности горизонтального масштабирования Arenadata DB позволили X5 Group несколько раз расширить и провести оптимизацию хранилища.

Кейс ОТП Банка

Пилотный проект по построению корпоративного хранилища стартовал в ОТП Банке в 2022 году, когда было принято решение мигрировать с Oracle Exadata. Требовалось уменьшить негативное влияние на системы-источники в процессе загрузки инкрементальных данных, вынести нецелевой функционал, снизить затраты на инфраструктуру за счет использования многотемпературного хранилища.

При выборе СУБД специалисты ОТП Банка учитывали стоимость платформы, функциональные возможности, условия сопровождения. С точки зрения зрелости решения, включенных сервисов (расширенный мониторинг, механизмы обеспечения катастрофоустойчивости, Arenadata Cluster Manager, наличие поддержки) выбор был сделан в пользу Arenadata DB.

По результатам пилотного проекта ОТП Банк разработал концепцию новой мультикомпонентной платформы данных, состоящей из озера данных, реляционного хранилища на базе MPP-архитектуры, ETL-платформы и BI-инструментов.

Кейс «Комуса»

Сеть магазинов товаров для офиса «Комус» в рамках процесса по обеспечению технологической независимости построила корпоративное хранилище данных на платформе VK Cloud, воспользовавшись для этого облачным сервисом Arenadata DB.

В прошлом у компании было локальное хранилище на базе инструментов Oracle на физических серверах, что ограничивало масштабирование и снижало скорость обработки данных.

«Комус» выбрал вариант хранилища в облаке VK Cloud на базе PaaS-сервиса (Platform-as-a-Service) Arenadata DB, так как он отвечает всем требованиям для решения бизнес-задач. На платформе VK Cloud присутствовали все необходимые ритейлеру инструменты для построения и развития решения.

Произвести миграцию удалось оперативно, всего за четыре месяца. В итоге объем занимаемого в хранилище места получилось оптимизировать почти в два раза — с 9 до 5 ТБ. Медианное значение формирования отчетов команда «Комуса» повысила в 5 раз, по тяжелым отчетам удалось добиться ускорения на несколько порядков выше. Время подключения новых источников к системе сократилось c 7 рабочих дней до 2–3 часов.