Проект

"Северсталь" организует "озеро данных"

Заказчики: Северсталь

Москва; Металлургическая промышленность

Подрядчики: Lenovo, Microsoft
Продукт: Проекты СХД
Второй продукт: Microsoft Azure
Третий продукт: Apache Kafka

Дата проекта: 2017/05
Технология: СХД
подрядчики - 232
проекты - 615
системы - 747
вендоры - 254
Технология: Центры обработки данных - технологии для ЦОД
подрядчики - 381
проекты - 936
системы - 683
вендоры - 250
Технология: IaaS - Инфраструктура как услуга
подрядчики - 208
проекты - 1173
системы - 406
вендоры - 211
Технология: PaaS - Platform As A Service - Бизнес-платформа как сервис
подрядчики - 142
проекты - 510
системы - 254
вендоры - 147
Технология: СУБД
подрядчики - 261
проекты - 748
системы - 301
вендоры - 144

2 августа 2017 года ПАО «Северсталь» объявила о создании гибридного хранилища данных (Data Lake). Инфраструктура ориентирована на хранение массива технологических данных, собранных на предприятиях. Они будут обрабатываться и использоваться для реализации проектов компании в сфере аналитики данных, машинного обучения и искусственного интеллекта.

Задачи проекта

Хранилище предполагает гибридную архитектуру - сочетание двух моделей хранения данных – в собственном центре обработки данных (ЦОД) и аренду мощностей в облачных сервисах. Реализация проекта предполагается на базе преимущественно open-sourсe программных продуктов.

«Северсталь» подписала контракт с Lenovo Group на поставку серверов с совокупным размером хранилища 2 ПБ в собственном ЦОДе. Кластер будет иметь 30 ТБ оперативной памяти и 1200 ядер процессорной мощности для вычислений.

Подписано рамочное соглашение с компанией Microsoft об аренде вычислительных мощностей в облачном сервисе Microsoft Azure. Соглашение даст возможность воспользоваться преимуществами гибридной модели и получить доступ к практически неограниченным хорошо защищенным ресурсам публичного облака Microsoft, которое поддерживает технологии различных производителей, включая технологии с открытым исходным кодом. Предполагается организация динамически измеряемого хранилища, которое будет использоваться, прежде всего, под проектные задачи, когда определенные мощности требуются на конкретный период времени.

Для транспорта данных планируется использовать решение на базе открытого программного обеспечения Apache Kafka и Spark, которое позволит передавать потоковые данные с низкой задержкой и анализировать их в режиме реального времени.

«
Практически все аспекты диджитал-трансформации компании сводятся к обработке данных. Поэтому создание инфраструктуры, способной хранить и анализировать огромный массив информации, собираемой нами на предприятиях – заложит основу для реализации цифровой стратегии «Северстали». А гибридная архитектура создаваемого хранилища позволит максимально экономически эффективно решать весь комплекс задач в области машинного обучения и предиктивной аналитики, стоящих перед нами, а также обеспечить высокую производительность процессов передачи и обработки данных и информационную безопасность компании.

Игорь Бардинцев, директор по развитию цифровых технологий АО «Северсталь Менеджмент»
»

В озере данных «Северстали» предполагается хранение, прежде всего, данных, собираемых с датчиков на промышленном оборудовании (Internet of Things), серверов автоматизированной системы управления технологическим процессом, MES-систем. На основе собираемых данных планируется реализовать проекты по предиктивной аналитике в таких сферах как предиктивные ремонты оборудования, оптимизация качества производимой продукции и других, где возможно и экономически оправданно применение искусственного интеллекта.

«
Цель каждого диджитал-проекта – довести эффективность конкретного процесса до максимума. Мы уже реализовали на ЧерМК несколько интересных инициатив, например, проект по предсказанию дефектов в цехе холодного проката, пилотируем несколько моделей в области предиктивных ремонтов на Стане-2000, и видим, что они приносят видимые результаты. Но чем больше у нас будет возможностей для сбора, хранения и обработки данных, тем больше подобных задач мы сможем решить. Поэтому развитие хранилища данных – это перманентный процесс.

Игорь Бардинцев
»