Газпром нефть (ADH - Arenadata Hadoop)

2019: Внедрение Arenadata Hadoop

Дирекция региональных продаж ПАО «Газпром нефть» в сотрудничестве с Arenadata реализовала проект по созданию современного «озера данных», важнейшей компоненты корпоративной платформы управления данными.

Дирекция региональных продаж ПАО «Газпром нефть» в конце 2017 года инициировала проект «Умное озеро данных» по внедрению комплексной платформы обработки и хранения данных с интегрированными компонентами Data Governance. Одной из предпосылок проекта выступила потребность в надёжном хранилище «сырых» и первично интегрированных данных. Вся поступающая из внутренних и внешних источников информация содержалась на слоях данных централизованной аналитической инфраструктуры в закрытом формате, что препятствовало эффективной работе с ней: например, передавать данные вовне можно было лишь в виде файловых пакетов или специально разработанных витрин. Другой предпосылкой создания «умного озера данных» стало значительное количество запускаемых на волне цифровизации инициатив и проектов, связанных с обработкой неструктурированных данных и больших массивов данных.

После апробации различных решений для первичной интеграции и хранения сырых данных (data lake), выбор пал на Arenadata Hadoop — отечественный дистрибутив.

В 2019 году Дирекция региональных продаж ПАО «Газпром нефть» интегрировала озеро данных на платформе Arenadata Hadoop в состав комплексной платформы управления данными.

Первые задачи «умного озера данных» включили в себя обработку транзакций сети АЗС «Газпром нефть», расчёт сегментов для клиентской аналитики, анализ обратной связи от клиентов.

Кроме этого, в платформу были интегрированы данные значительного числа внешних источников, в частности, Санкт-Петербургской товарно-сырьевой биржи, сайтов Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнёров и сведения о конкурентах, данные мобильных приложений.

«Умное озеро данных» развёрнуто в Центре обработки данных «Газпром нефти» в Санкт-Петербурге. Его пользователями являются аналитики подразделений Дирекции региональных продаж и дочерних обществ. Кроме этого, созданное решение является поставщиком данных для различных систем в контуре компании и в целевом виде — для внешних партнёров.

Особенностью проекта стали уникальные для Big Data ландшафта решения в области безопасности. На уровне всех компонент, ландшафтов и ролевой модели были обеспечены требования к защите информации по стандартам группы «Газпром», решение успешно сертифицировано для работы с коммерческой тайной и персональными данными.

В частности, были созданы отдельные группы доступа, например, для разработчиков, аналитиков, администраторов. Между их правами и полномочиями зафиксирована тонкая грань, а ролевые модели построены так, чтобы пользователи видели лишь требуемые данные. Также интеграция между компонентами решения и смежными системами выполнена с соблюдением корпоративной политики информационной безопасности.