Ростелеком (ADB - Arenadata BD)

2019: Создание единой технологической платформы

Масштаб проекта

• 115000 человеко-часов
• 3000 автоматизированных рабочих мест
• 500 абонентов

Цели

• Объединение федеральных ХД организацией информационного-аналитического пространства на базе единой отказоустойчивой масштабируемой платформы (ЦХД), как единого источника достоверной, интерпретируемой, качественной, актуальной информации по оптимальной стоимости
• Исполнение директивы Правительства по импортозамещению смещением баланса в сторону отечественного ПО, собственных разработок и open source
• Сокращение ТСО/TCC систем отчетности и аналитики
• Реализация в рамках ЦХД функции управления данными, методик консолидированной подготовки данных, ККД, бизнес-глоссария, интерпретации в бизнес-термины исходных данных, интеграция с MDM/RDM системами, предоставление data lineage, возможность impact анализа в границах полного жизненного цикла атрибутов
• Развитие культуры бизнес-аналитики, использования инструментов исследования данных (Predictive Analytics, ML, Text Mining), повышение монетизации данных, демократизации.
• Уменьшение T2M практиками прототипирования, self-service BI/ETL

Использованное ПО Store and Compute, DBMS:

• Hadoop (HDP),
• Hive,
• PostgreSQL,
• Oracle DB,
• Arenadata DB

В ходе проекта внедрены RDM и MDM системы, обеспечена интеграция с ЦХД, создан единый Глоссарий, составлен реестр отчетов, карта данных, разработан DG инструментарий, обеспечена демократизация данных. Определен целевой стек технологий, проведена закупка ПО, модернизация оборудования.

Внедренное оборудование позволило кратно увеличить возможности платформы (24 узла GP, 65 HDP, 7.5 ПБ диск пространства). Платформа подготовлена к росту объема данных, числа пользователей BI, витрин, песочниц. Развернуты дополнительно несколько контуров (DEV/TEST), что с внедрением релизного процесса, практик CI/CD позволяет повысить качество конечных продуктов.

Переход на open source, собственную разработку сократили требуемый объем закупки лицензий проприетарных продуктов в несколько раз, что уменьшило бюджет проекта на миллионы долларов, позволило нивелировать корпоративные и санкционные риски.

Командам других подразделений предоставлен сервис self-service BI/ETL в качестве отдельной площадки для самостоятельной разработки и демонстрации прототипов («серый» контур). ЦХД обеспечивает инфраструктурой и поддержкой прикладного ПО, сторонние команды сосредоточены на процессах анализа и разработки. Согласованные заказчиком прототипы, претерпевая рефакторинг, переносятся далее на целевой контур, что существенно снижает T2M.