"Северсталь" организует "озеро данных"

2 августа 2017 года ПАО «Северсталь» объявила о создании гибридного хранилища данных (Data Lake). Инфраструктура ориентирована на хранение массива технологических данных, собранных на предприятиях. Они будут обрабатываться и использоваться для реализации проектов компании в сфере аналитики данных, машинного обучения и искусственного интеллекта.

Задачи проекта

Хранилище предполагает гибридную архитектуру - сочетание двух моделей хранения данных – в собственном центре обработки данных (ЦОД) и аренду мощностей в облачных сервисах. Реализация проекта предполагается на базе преимущественно open-sourсe программных продуктов.

«Северсталь» подписала контракт с Lenovo Group на поставку серверов с совокупным размером хранилища 2 ПБ в собственном ЦОДе. Кластер будет иметь 30 ТБ оперативной памяти и 1200 ядер процессорной мощности для вычислений.

Подписано рамочное соглашение с компанией Microsoft об аренде вычислительных мощностей в облачном сервисе Microsoft Azure. Соглашение даст возможность воспользоваться преимуществами гибридной модели и получить доступ к практически неограниченным хорошо защищенным ресурсам публичного облака Microsoft, которое поддерживает технологии различных производителей, включая технологии с открытым исходным кодом. Предполагается организация динамически измеряемого хранилища, которое будет использоваться, прежде всего, под проектные задачи, когда определенные мощности требуются на конкретный период времени.

Для транспорта данных планируется использовать решение на базе открытого программного обеспечения Apache Kafka и Spark, которое позволит передавать потоковые данные с низкой задержкой и анализировать их в режиме реального времени.

Практически все аспекты диджитал-трансформации компании сводятся к обработке данных. Поэтому создание инфраструктуры, способной хранить и анализировать огромный массив информации, собираемой нами на предприятиях – заложит основу для реализации цифровой стратегии «Северстали». А гибридная архитектура создаваемого хранилища позволит максимально экономически эффективно решать весь комплекс задач в области машинного обучения и предиктивной аналитики, стоящих перед нами, а также обеспечить высокую производительность процессов передачи и обработки данных и информационную безопасность компании. Игорь Бардинцев, директор по развитию цифровых технологий АО «Северсталь Менеджмент»

В озере данных «Северстали» предполагается хранение, прежде всего, данных, собираемых с датчиков на промышленном оборудовании (Internet of Things), серверов автоматизированной системы управления технологическим процессом, MES-систем. На основе собираемых данных планируется реализовать проекты по предиктивной аналитике в таких сферах как предиктивные ремонты оборудования, оптимизация качества производимой продукции и других, где возможно и экономически оправданно применение искусственного интеллекта.

Цель каждого диджитал-проекта – довести эффективность конкретного процесса до максимума. Мы уже реализовали на ЧерМК несколько интересных инициатив, например, проект по предсказанию дефектов в цехе холодного проката, пилотируем несколько моделей в области предиктивных ремонтов на Стане-2000, и видим, что они приносят видимые результаты. Но чем больше у нас будет возможностей для сбора, хранения и обработки данных, тем больше подобных задач мы сможем решить. Поэтому развитие хранилища данных – это перманентный процесс. Игорь Бардинцев