Новый Импульс-50 (ЦОД Проекты создания и модернизации)

2017: Центр обработки данных для обеспечения работы торговой сети "Утконос"

Задачи

С ростом бизнеса и увеличением количества точек продаж перед руководством компании «Новый импульс» встала задача: обеспечить непрерывную, бесперебойную работу торговой сети «Утконос» и сохранность информации в случае отказов оборудования, программных сбоев и ошибок персонала.

Система предварительных заказов предъявляет высокие требования к информационной системе (ИС) компании, так как необходимо обеспечить поддержку большого количества операций между магазинами и складом-хранилищем: передача заказа из магазина на склад в реальном времени, контроль наличия товара на складе, контроль прохождения заказа клиента и т.д. Поскольку вся информация о клиентах, товарах и заказах консолидируется в централизованной базе данных, то сбой в работе ИС может привести к полной остановке бизнеса, то есть к большим убыткам. В качестве системы обработки и хранения данных о клиентах и заказах компании «Новый импульс» использовалась система SAP R3.

Рост числа магазинов и увеличение потока клиентов в переводе на язык ИТ означает увеличение объемов обрабатываемых данных. Прогнозировалось, что количество заказов будет составлять в среднем не менее 10 тыс. в день. Кроме того, планировалось внедрить ресурсоемкое ПО для анализа, прогнозирования и планирования работы большой торговой сети, а существующий вычислительный комплекс не имел резервов для увеличения производительности. Решение этих задач требовало модернизации вычислительного комплекса компании.

Для того, чтобы обеспечить поддержку бизнес-процессов, руководство компании «Новый импульс» приняло решение о строительстве комплекса зданий в районе Южное Бутово. Здесь должны были разместиться склад-хранилище, офисные помещения и центр обработки данных (ЦОД), поддерживающий работу торговой сети в Москве, Зеленограде и Солнечногорске.

Выбор партнера

Для выбора генерального подрядчика проекта «Новый импульс» провел закрытый конкурс, победу в котором одержала стала компания «Инфосистемы Джет», которая, по словам представителей заказчика, «имела необходимый опыт создания аналогичных систем, высококвалифицированный персонал, грамотный проектный менеджмент».

Таким образом компания «Инфосистемы Джет» стала партнером «Нового импульса» по построению ЦОД, и перед её специалистами были поставлены задачи спроектировать и построить инженерную инфраструктуру и вычислительный комплекс для работы ERP- и других информационных систем предприятия.

Ход работ

Специалисты «Инфосистем Джет» взяли на себя управление строительством ЦОД, осуществляя контроль всех этапов строительно-монтажных работ, выполняемых подрядными организациями, и подготовку комплекса к сдаче в эксплуатацию. ЦОД планировалось разместить в двух зданиях. На момент начала сотрудничества одно из них было уже построено, а для второго была подготовлена площадка под фундамент.

Были сформулированы требования к строительно-подрядным организациям по построению, размещению и отделке серверных комнат внутри зданий с учетом особенностей конфигурации помещений, предназначенных для ЦОД, требования к размерам и геометрии входных дверей, конструктивным особенностям пола, материалам, используемым для отделки.

После завершения строительных работ, специалисты компании «Инфосистемы Джет» приступили к монтажу инженерной инфраструктуры ЦОД и проектированию вычислительного комплекса.

Инженерная инфраструктура ЦОД

При создании инженерной инфраструктуры ЦОД были выполнены работы по проектированию, установке и запуску в эксплуатацию следующих подсистем:

• кондиционирования,
• газового пожаротушения,
• закладных и кабельных каналов,
• бесперебойного электроснабжения, включая распределительную сеть электропитания серверных комнат,
• структурированной кабельной подсистемы,
• а также ряд дополнительных подсистем, в частности, общего электропитания и аварийного освещения.

Технические детали:

• Подсистема закладных и кабельных каналов. Оборудование Niedax и Vergokan. Система общей протяженностью — 216м.
• Кабельная подсистема. Оборудование The Siemon Company. Емкость системы: 816 медных портов; 544 оптических портов.
• Подсистема бесперебойного электроснабжения. Оборудование Merlin Gerin, Chloride Group PLC. Два комплекса ИБП, построенные с резервированием по схеме N+1, общей мощностью — 380 кВт.
• Подсистема кондиционирования. Оборудование Emicon. Четыре комплекса, построенные с резервированием по схеме N+1, общей мощностью по холоду — 370 кВт.
• Фальшпол. Оборудование Uniflair. Общая площадь — 240 кв.м.

Вычислительный комплекс системы SAP R3

Поскольку в базе данных SAP R3 хранится критичная для бизнеса компании информация, специалисты «Нового импульса» сформулировали требования к вычислительному комплексу следующим образом: он должен обеспечивать, во-первых, непрерывную и бесперебойную работу торговой сети, во-вторых, сохранность информации о клиентах и заказах в случае отказа оборудования, а также в ситуации программных или человеческих ошибок. Конфигурация оборудования должна была иметь резервы для увеличения производительности и повышения надежности в будущем.

При составлении коммерческого предложения по построению вычислительного комплекса специалисты «Инфосистем Джет» проанализировали:

• параметры функционирования существовавшего комплекса обработки данных;
• маркетинговые планы компании «Новый импульс» за предыдущие годы;
• влияние развития бизнеса (увеличения числа торговых точек сети, возможности расширения ассортимента продукции и т.п.) на информационную инфраструктуру компании;
• имеющиеся мощности ЦОД, с учетом перспектив развития компании.

Кроме того, были рассмотрены возможные варианты размещения оборудования в новых зданиях и перспективы модернизации ЦОД в будущем.

Результатом работы стало предложение спроектировать территориально распределенный отказоустойчивый кластер SAP R3, именно такое решение должно было наиболее полно удовлетворить требования компании «Новый импульс» в части производительности, доступности и масштабирования системы.

Система SAP R3 включает сервер СУБД Oracle и серверы приложений. Сервер СУБД работает с данными, размещенными на двух внешних дисковых массивах (см. рис.1).

Для обеспечения непрерывности работы информационной системы в случае отказа оборудования было предложено продублировать ключевые компоненты ИТ-инфраструктуры.

Рис.1 Схема кластера SAP R3 компании «Новый импульс»

Для эффективного доступа серверов к дисковым ресурсам была спроектирована и построена оптоволоконная сеть хранения данных – SAN — по принципу dual-fabric на четырех коммутаторах Fibre Channel Brocade SilkWorm 3800.

Расположенные на разных площадках компоненты комплекса связаны между собой оптическими каналами:

• две линии связи предназначены для локальной сети и сети межкластерного взаимодействия;
• 4 линии связи — для SAN.

Для надежности конструкции все линии связи были разделены в два физически разных канала, проложенные независимыми путями.

В режиме нормальной работы комплекса все клиенты подключаются к серверам приложений. Специальный процесс-диспетчер SAP R3, исполняющийся на одном из серверов, равномерно распределяет нагрузку, подключая новых пользователей к наименее загруженному в данный момент серверу. Сервер СУБД Oracle предоставляет по запросам серверов приложений данные, необходимые для работы, и получает результаты выполнения операций. Связь между серверами обеспечивается при помощи технологии Ethernet. Все данные системы хранятся в файлах базы данных на дисковых массивах HDS 9980V. На массивах размещаются данные и других серверов.

Все оборудование, входящее в состав вычислительного комплекса, обладает избыточностью и встроенными средствами диагностики. Поэтому отказ отдельных элементов приведет лишь к возможной деградации технических характеристик комплекса в заданных пределах, но не к простою в целом.

В случае отказа какого-либо из серверов, дискового массива, ленточной библиотеки или оборудования SAN возможны следующие варианты работы:

• Использование отказоустойчивой кластерной конфигурации позволяет, в случае отказа основного сервера СУБД, автоматически, без вмешательства администратора, осуществить переход на резервный сервер.
• При полном отказе одного из серверов приложений всю нагрузку примут на себя оставшиеся, при этом будут потеряны только текущие сессии клиентов.
• В случае полного выхода из строя основного дискового массива HDS 9980V предусмотрен резервный. На нем с помощью программного обеспечения Veritas Volume Manager создается зеркальная копия данных с первого массива, что позволяет, с одной стороны, повысить скорость чтения данных и производительность работы приложений, а с другой стороны, избежать остановки системы при отказе одного из массивов. При недоступности одной из зеркальных копий данных работа будет идти со второй без каких-либо перерывов или остановок. После восстановления работоспособности отказавшего массива данные на нем будут синхронизированы с рабочей копией, и система продолжит работу в полной конфигурации.
• Существующая конфигурация SAN использует дублирование пути доступа от серверов к системам хранения данных. Благодаря Veritas Volume Manager в случае отказа одного из путей (выхода из строя FC-коммутатора, обрыва оптического кабеля, отказ FC-интерфейса на сервере или дисковом массиве) весь поток данных будет направлен по резервному пути.

Специалисты компании «Инфосистемы Джет» организовали проведение процедуры резервного копирования в режиме онлайн, используя технологию создания «моментальных снимков» (snapshots). Данная схема позволяет делать резервное копирование без остановки работы приложений, она снижает время проведения копирования и не приводит к уменьшению производительности системы.

Для создания «моментальных снимков» используется программное обеспечение Veritas Volume Manager.

Сервисное обслуживание

Оборудование вычислительного комплекса находится на сервисной поддержке компании «Инфосистемы Джет». Работает горячая линия, осуществляются визиты специалиста Сервисного центра для проведения диагностики и ремонтно-восстановительных работ, проводится плановая модификация (переконфигурация) обслуживаемого оборудования и ПО.

Основные элементы комплекса находятся на круглосуточной поддержке по программе «Операционная поддержка 24х7», которая предназначена для предупреждения возникновения внештатных ситуаций, минимизации случаев аварийных сбоев и быстрого восстановления функциональности высокоскоростного оборудования и ПО, находящегося в промышленной эксплуатации. Программа обеспечивает гарантированный срок полного восстановления функциональности системы, а также поддержку всей системы целиком, а не отдельных элементов оборудования и ПО.

Управление магазинами сети «Утконос» осуществляется из единого центра обработки данных. Комплекс предлагаемых технических решений и организационных мер позволил обеспечить сохранность информации и непрерывную и бесперебойную работу торговой сети. В составе комплекса:

• территориально распределенный кластер,
• дублирование ключевых компонентов ИТ-инфраструктуры,
• построение SAN,
• организация проведения резервного копирования «on-line»,
• поддержка вычислительного комплекса по программе «Операционная поддержка 24х7».