"Северсталь" организует "озеро данных"

2 августа 2017 года ПАО «Северсталь» объявила о создании гибридного хранилища данных (Data Lake). Инфраструктура ориентирована на хранение массива технологических данных, собранных на предприятиях. Они будут обрабатываться и использоваться для реализации проектов компании в сфере аналитики данных, машинного обучения и искусственного интеллекта.

Задачи проекта

Хранилище предполагает гибридную архитектуру - сочетание двух моделей хранения данных – в собственном центре обработки данных (ЦОД) и аренду мощностей в облачных сервисах. Реализация проекта предполагается на базе преимущественно open-sourсe программных продуктов.

«Северсталь» подписала контракт с Lenovo Group на поставку серверов с совокупным размером хранилища 2 ПБ в собственном ЦОДе. Кластер будет иметь 30 ТБ оперативной памяти и 1200 ядер процессорной мощности для вычислений.

Подписано рамочное соглашение с компанией Microsoft об аренде вычислительных мощностей в облачном сервисе Microsoft Azure. Соглашение даст возможность воспользоваться преимуществами гибридной модели и получить доступ к практически неограниченным хорошо защищенным ресурсам публичного облака Microsoft, которое поддерживает технологии различных производителей, включая технологии с открытым исходным кодом. Предполагается организация динамически измеряемого хранилища, которое будет использоваться, прежде всего, под проектные задачи, когда определенные мощности требуются на конкретный период времени.Трендвотчинг рынка DevOps. Аналитический отчет TAdviser 5.1 т

Для транспорта данных планируется использовать решение на базе открытого программного обеспечения Apache Kafka и Spark, которое позволит передавать потоковые данные с низкой задержкой и анализировать их в режиме реального времени.

Практически все аспекты диджитал-трансформации компании сводятся к обработке данных. Поэтому создание инфраструктуры, способной хранить и анализировать огромный массив информации, собираемой нами на предприятиях – заложит основу для реализации цифровой стратегии «Северстали». А гибридная архитектура создаваемого хранилища позволит максимально экономически эффективно решать весь комплекс задач в области машинного обучения и предиктивной аналитики, стоящих перед нами, а также обеспечить высокую производительность процессов передачи и обработки данных и информационную безопасность компании. Игорь Бардинцев, директор по развитию цифровых технологий АО «Северсталь Менеджмент»

В озере данных «Северстали» предполагается хранение, прежде всего, данных, собираемых с датчиков на промышленном оборудовании (Internet of Things), серверов автоматизированной системы управления технологическим процессом, MES-систем. На основе собираемых данных планируется реализовать проекты по предиктивной аналитике в таких сферах как предиктивные ремонты оборудования, оптимизация качества производимой продукции и других, где возможно и экономически оправданно применение искусственного интеллекта.

Цель каждого диджитал-проекта – довести эффективность конкретного процесса до максимума. Мы уже реализовали на ЧерМК несколько интересных инициатив, например, проект по предсказанию дефектов в цехе холодного проката, пилотируем несколько моделей в области предиктивных ремонтов на Стане-2000, и видим, что они приносят видимые результаты. Но чем больше у нас будет возможностей для сбора, хранения и обработки данных, тем больше подобных задач мы сможем решить. Поэтому развитие хранилища данных – это перманентный процесс. Игорь Бардинцев