"Почта Банк" обновил корпоративное хранилище данных

2022: Оптимизация корпоративного хранилища данных

4 июля 2022 год Почта Банк сообщил о реализации масштабного проекта по рефакторингу корпоративного хранилища данных (КХД). Он заключался в полной переработке архитектуры, создании оперативного слоя данных и их унифицированной модели, выстраивании процессов Data Governance.

В результате в КХД увеличилась производительность расчетов, унифицированы их алгоритмы, сократились финансовые расходы, повысилась актуальность и безопасность данных. Значительно улучшено общее качество данных в КХД и других системах, что ведет к повышению уровня клиентского обслуживания.

В ходе проекта команда Почта Банка при поддержке компании «Философия.ИТ» создала качественно новую архитектуру КХД, которая позволяет получать данные из ключевых систем-источников в режиме онлайн и обеспечивает инкрементальное обновление всех слоев хранилища. Параллельно развивалось и старое КХД, содержащее в себе огромные объемы legacy-кода, накопленные за более чем пятилетнюю историю.

Для конкурентоспособности банка важна прежде всего скорость внедрения новых продуктов и масштабирования систем. Поэтому возрастает потребность в производительном хранилище данных. Без надежной базы дата-аналитики организации могут тратить до 80% времени на подготовку данных вместо их анализа, — сказал Василий Король, руководитель службы по управлению данными (Chief Data Officer) Почта Банка.

По словам эксперта, работа в этом направлении продуктивна только тогда, когда выстроен фундамент: отлажены процессы сбора, очистки, унификации, хранения, управления и использования всего объема генерируемых данных.

При этом проект по выстраиванию такого фундамента всегда тяжелый и длительный, тем более если вы реализуете его на «живой», постоянно работающей системе, от которой зависят все процессы компании. Но в наших силах сделать его эффективным, — говорит Василий Король.

В первую очередь была разработана и согласована концепция развития управления данными в Почта Банке. В рамках этой концепции был выстроен полный цикл управления изменениями корпоративного хранилища, коснувшийся взаимодействия как внутри команды, так и с подрядчиками и заказчиками. Была выстроена гибридная система реализации задач и проектов (scrum и waterfall), что позволило прийти к высокой регулярности релизов КХД (минимум раз в две недели) без значительных потерь в качестве.

Была реализована система контроля качества данных, внедрены и согласованы регламенты взаимодействия с системами-источниками. Осуществлен перевод системы мониторинга КХД на роботизированное ПО (push-уведомления, автоматические звонки). В архитектуре созданы операционный (блок витрин для систем-приемников) и аналитический слои КХД (где внедрена и развивается единая модель данных). Реализована ролевая модель доступа к BI-отчетности и данным хранилища.

Были улучшены параметры быстродействия и надежности КХД, снижены затраты на его развитие и поддержку, а также совокупная стоимость владения. Увеличена скорость расчета и предоставления информации бизнес-заказчикам (большая часть ключевых витрин готовы до 8 утра дня, следующего за отчетным). Обеспечено выполнение более жестких SLA как по скорости готовности, так и по качеству данных.

В части технико-процессных аспектов и архитектуры осуществлен переход на инкрементальные расчеты, проведена дедубликация данных и бизнес-процессов. Также был выполнен перенос ключевой ресурсоемкой функциональности пользовательского финансового хранилища в созданное единое КХД.

Стоит отметить и некоторые количественные показатели проекта. Так, более ранняя готовность витрин только одного из блоков позволила быстрее начинать работу по взысканию, что приводит к дополнительным доходам — свыше 130 млн руб. за 5 лет. Экономия за счет более оптимальной архитектуры и уменьшения затрат на оборудование составляет 370 млн руб. за аналогичный период. Среднее число задач по развитию КХД в квартал увеличилось с 20 до 90 при прежних затратах, а среднее время реализации одной задачи сократилось более чем в два раза и на июль 2022 года составляет менее 30 календарных дней.

За время внедрения в банке значительно расширилась функциональность, которая реализуется и поддерживается на КХД. Объем полезной информации вырос более чем в 6 раз (>240 ТБ), а число пользователей хранилища и основанной на его данных BI-отчетности — в 5 раз.

Результатами проекта стали не только улучшение количественных показателей и оптимизация (а где-то создание) процессов, но и формирование единой методологии, повышение общей культуры работы с данными, рост доверия к ним, совершенствование информационного взаимодействия внутри организации. В итоге повышение зрелости процессов управления данными приводит к осознанию их ценности и возможностям для монетизации. А это в свою очередь позволяет создавать более эффективные и инновационные продукты для наших клиентов, — подчеркнул Василий Король.

Надо отметить долгосрочное и плодотворное сотрудничество наших компаний. На протяжении многих лет мы поддерживали и развивали КХД в Почта Банке в соответствии с запросами бизнеса. Проект рефакторинга, по сути, представляет собой создание нового хранилища с перспективной архитектурой, которая отвечает всем последним стандартам. Это позволит быстрее реагировать на вызовы рынка, обеспечивая развитие банка и высокий уровень клиентского сервиса, — рассказал Юрий Колбасин, директор практики Big Data, партнер Лиги Цифровой Экономики.