Сеть хранения данных
Storage Area Network, SAN

В простейшем случае SAN состоит из СХД, коммутаторов и серверов, объединённых оптическими каналами связи. Помимо непосредственно дисковых СХД в SAN можно подключить дисковые библиотеки, ленточные библиотеки (стримеры), устройства для хранения данных на оптических дисках (CD/DVD и прочие) и др.

Пример высоконадёжной инфраструктуры, в которой серверы включены одновременно в локальную сеть (слева) и в сеть хранения данных (справа). Такая схема обеспечивает доступ к данным, находящимся на СХД, при выходе из строя любого процессорного модуля, коммутатора или пути доступа.

Использование SAN позволяет обеспечить:

• централизованное управление ресурсами серверов и систем хранения данных;
• подключение новых дисковых массивов и серверов без остановки работы всей системы хранения;
• использование ранее приобретенного оборудования совместно с новыми устройствами хранения данных;
• оперативный и надежный доступ к накопителям данных, находящимся на большом расстоянии от серверов, *без значительных потерь производительности;
• ускорение процесса резервного копирования и восстановления данных - BURA.

История

Развитие сетевых технологий привело к появлению двух сетевых решений для СХД – сетей хранения Storage Area Network (SAN) для обмена данными на уровне блоков, поддерживаемых клиентскими файловыми системами, и серверов для хранения данных на файловом уровне Network Attached Storage (NAS). Чтобы отличать традиционные СХД от сетевых был предложен еще один ретроним – Direct Attached Storage (DAS).

Появлявшиеся на рынке последовательно DAS, SAN и NAS отражают эволюционирующие цепочки связей между приложениями, использующими данные, и байтами на носителе, содержащим эти данные. Когда-то сами программы-приложения читали и писали блоки, затем появились драйверы как часть операционной системы. В современных DAS, SAN и NAS цепочка состоит из трех звеньев: первое звено – создание RAID-массивов, второе – обработка метаданных, позволяющих интерпретировать двоичные данные в виде файлов и записей, и третье – сервисы по предоставлению данных приложению. Они различаются по тому, где и как реализованы эти звенья. В случае с DAS СХД является «голой», она только лишь предоставляет возможность хранения и доступа к данным, а все остальное делается на стороне сервера, начиная с интерфейсов и драйвера. С появлением SAN обеспечение RAID переносится на сторону СХД, все остальное остается так же, как в случае с DAS. А NAS отличается тем, что в СХД переносятся к тому же и метаданные для обеспечения файлового доступа, здесь клиенту остается только лишь поддерживать сервисы данных.

Появление SAN стало возможным после того, как в 1988 году был разработан протокол Fibre Channel (FC) и в 1994 утвержден ANSI как стандарт. Термин Storage Area Network датируется 1999 годом. Со временем FC уступил место Ethernet, и получили распространение сети IP-SAN с подключением по iSCSI.

Идея сетевого сервера хранения NAS принадлежит Брайану Рэнделлу из Университета Ньюкэстла и реализована в машинах на UNIX-сервере в 1983 году. Эта идея оказалась настолько удачной, что была подхвачена множеством компаний, в том числе Novell, IBM, и Sun, но в конечном итоге сменили лидеров NetApp и EMC.

В 1995 Гарт Гибсон развил принципы NAS и создал объектные СХД (Object Storage, OBS). Он начал с того, что разделил все дисковые операции на две группы, в одну вошли выполняемые более часто, такие как чтение и запись, в другую более редкие, такие как операции с именами. Затем он предложил в дополнение к блокам и файлам еще один контейнер, он назвал его объектом.

OBS отличается новым типом интерфейса, его называют объектным. Клиентские сервисы данных взаимодействуют с метаданными по объектному API (Object API). В OBS хранятся не только данные, но еще и поддерживается RAID, хранятся метаданные, относящиеся к объектам и поддерживается объектный интерфейс. DAS, и SAN, и NAS, и OBS сосуществуют во времени, но каждый из типов доступа в большей мере соответствует определенному типу данных и приложений.

Подробнее об эволюции СХД читайте здесь.

Архитектура SAN

Топология сети

SAN является высокоскоростной сетью передачи данных, предназначенной для подключения серверов к устройствам хранения данных. Разнообразные топологии SAN (точка-точка, петля с арбитражной логикой (Arbitrated Loop) и коммутация) замещают традиционные шинные соединения «сервер — устройства хранения» и предоставляют по сравнению с ними большую гибкость, производительность и надежность. В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel. Принцип взаимодействия узлов в SAN c топологиями точка-точка или коммутацией показан на рисунках. В SAN с топологией Arbitrated Loop передача данных осуществляется последовательно от узла к узлу. Для того, чтобы начать передачу данных передающее устройство инициализирует арбитраж за право использования среды передачи данных (отсюда и название топологии – Arbitrated Loop).

Петля с арбитражной логикой

Коммутация

Точка-точка

Транспортную основу SAN составляет протокол Fibre Channel, использующий как медные, так и волоконно-оптические соединения устройств.

Компоненты SAN

Компоненты SAN подразделяются на следующие:

• Host Bus Adaptors (HBA);
• Ресурсы хранения данных;
• Устройства, реализующие инфраструктуру SAN;
• Программное обеспечение.

Host Bus Adaptors

HBA устанавливаются в серверы и осуществляют их взаимодействие с SAN по протоколу Fibre Channel. Стек протоколов Fibre Channel реализован внутри HBA. Наиболее известными производителями HBA являются компании Emulex, JNI, Qlogic и Agilent.

Ресурсы хранения данных

К ресурсам хранения данных относятся дисковые массивы, ленточные накопители и библиотеки с интерфейсом Fibre Channel. Многие свои возможности ресурсы хранения реализуют только будучи включенными в SAN. Так дисковые массивы высшего класса могут осуществлять репликацию данных между масcивами по сетям Fibre Channel, а ленточные библиотеки могут реализовывать перенос данных на ленту прямо с дисковых массивов с интерфейсом Fibre Channel, минуя сеть и серверы (Serverless backup). Наибольшую популярность на рынке приобрели дисковые массивы компаний EMC, Hitachi, IBM, Compaq (семейство Storage Works, доставшееся Compaq от Digital), а из производителей ленточных библиотек следует упомянуть StorageTek, Quantum/ATL, IBM.

Устройства, реализующие инфраструктуру SAN

Устройствами, реализующими инфраструктуру SAN, являются коммутаторы Fibre Channel (Fibre Channel switches, FC switches),концентраторы (Fibre Channel Hub) и маршрутизаторы (Fibre Channel-SCSI routers).Концентраторы используются для объединения устройств, работающих в режиме Fibre Channel Arbitrated Loop (FC_AL). Применение концентраторов позволяет подключать и отключать устройства в петле без остановки системы, поскольку концентратор автоматически замыкает петлю в случае отключения устройства и автоматически размыкает петлю, если к нему было подключено новое устройство. Каждое изменение петли сопровождается сложным процессом её инициализации. Процесс инициализации многоступенчатый, и до его окончания обмен данными в петле невозможен.

Все современные SAN построены на коммутаторах, позволяющих реализовать полноценное сетевое соединение. Коммутаторы могут не только соединять устройства Fibre Channel, но и разграничивать доступ между устройствами, для чего на коммутаторах создаются так называемые зоны. Устройства, помещенные в разные зоны, не могут обмениваться информацией друг с другом. Количество портов в SAN можно увеличивать, соединяя коммутаторы друг с другом. Группа связанных коммутаторов носит название Fibre Channel Fabric или просто Fabric. Связи между коммутаторами называют Interswitch Links или сокращенно ISL.

Программное обеспечение

Программное обеспечение позволяет реализовать резервирование путей доступа серверов к дисковым массивам и динамическое распределение нагрузки между путями. Для большинства дисковых массивов существует простой способ определить, что порты, доступные через разные контроллеры, относятся к одному диску. Специализированное программное обеспечение поддерживает таблицу путей доступа к устройствам и обеспечивает отключение путей в случае аварии, динамическое подключение новых путей и распределение нагрузки между ними. Как правило, изготовители дисковых массивов предлагают специализированное программное обеспечение такого типа для своих массивов. Компания VERITAS Software производит программное обеспечение VERITAS Volume Manager, предназначенное для организации логических дисковых томов из физических дисков и обеспечивающее резервирование путей доступа к дискам, а также распределение нагрузки между ними для большинства известных дисковых массивов.

Используемые протоколы

В сетях хранения данных используются низкоуровневые протоколы:

• Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Наиболее часто используемый на данный момент протокол. Существует в вариантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s и 10 Gbit/s.
• iSCSI, транспорт SCSI через TCP/IP.
• FCoE, транспортировка FCP/SCSI поверх "чистого" Ethernet.
• FCIP и iFCP, инкапсуляция и передача FCP/SCSI в пакетах IP.
• HyperSCSI, транспорт SCSI через Ethernet.
• FICON транспорт через Fibre Channel (используется только мейнфреймами).
• ATA over Ethernet, транспорт ATA через Ethernet.
• SCSI и/или TCP/IP транспорт через InfiniBand (IB).

Преимущества

• Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
• Централизованное хранение данных (надёжность, безопасность).
• Удобное централизованное управление коммутацией и данными.
• Перенос интенсивного трафика ввода-вывода в отдельную сеть – разгрузка LAN.
• Высокое быстродействие и низкая латентность.
• Масштабируемость и гибкость логической структуры SAN
• Географические размеры SAN, в отличие от классических DAS, практически не ограничены.
• Возможность оперативно распределять ресурсы между серверами.
• Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.
• Простая схема резервного копирования – все данные находятся в одном месте.
• Наличие дополнительных возможностей и сервисов (снапшоты, удаленная репликация).
• Высокая степень безопасности SAN.

Совместное использование систем хранения как правило упрощает администрирование и добавляет изрядную гибкость, поскольку кабели и дисковые массивы не нужно физически транспортировать и перекоммутировать от одного сервера к другому.

Другим приемуществом является возможность загружать сервера прямо из сети хранения. При такой конфигурации можно быстро и легко заменить сбойный сервер, переконфигурировав SAN таким образом, что сервер-замена, будет загружаться с LUN'а сбойного сервера. Эта процедура может занять, например, полчаса. Идея относительно новая, но уже используется в новейших датацентрах.

Также сети хранения помогают более эффективно восстанавливать работоспособность после сбоя. В SAN может входить удаленный участок со вторичным устройством хранения. В таком случае можно использовать репликацию - реализованную на уровне контроллеров массивов, либо при помощи специальных аппаратных устройств. Поскольку каналы WAN на основе протокола IP встречаются часто, были разработаны протоколы Fibre Channel over IP (FCIP) и iSCSI с целью расширить единую SAN средствами сетей на основе протокола IP. Спрос на такие решения значительно возрос после событий 11 сентября 2001 года в США.

Недостатки

Все минусы сводятся только к высокой стоимости подобного рода решений. Российский рынок СХД в целом отстает от рынка западных развитых стран, особенно – в широком использовании сетей хранения данных. В частности, определенное влияние продолжают оказывать дефицит и высокая стоимость скоростных каналов связи.

Отличие от NAS

Основное различие между SAN и NAS состоит в способе организации обмена данными между устройствами хранения и серверами. Вообще говоря, архитектура SAN нацелена на разрешение проблем, вызываемых интенсивными процедурами резервного копирования и обмена данными путем перенесения всей системы в выделенную подсеть. Основанные на протоколе Fibre Channel системы SAN позволяют в широких пределах изменять емкость системы хранения данных и гарантировать более высокую пропускную способность в пределах выделенной подсети (Дисковые массивы и Ленточные библиотеки, не оборудованные интерфейсами Fibre Channel, можно подключить к SAN, используя маршрутизаторы Fibre Channel-SCSI).

Оценки рынка

2024: Объем мирового рынка сетей хранения данных достиг $21,96

По итогам 2024 года затраты на глобальном рынке сетей хранения данных (SAN) составили $21,96 млрд. Почти 40% от общемировых расходов пришлось на североамериканский регион. Отраслевые тенденции рассматриваются в исследовании Precedence Research, с результатами которого TAdviser ознакомился в середине сентября 2025 года.

Архитектура SAN предполагает создание отдельной сети хранения, которая объединяется с серверным оборудованием. Это высокоскоростная инфраструктура, обеспечивающая доступ к консолидированным хранилищам данных. Для реализации SAN разработаны специальные технологии в области программного и аппаратного обеспечения, а также сетевого взаимодействия. Благодаря SAN устройства хранения информации, расположенные на нескольких разнородных платформах, могут быть объединены в единую систему с централизованным управлением. Преимуществами такого подхода являются:

• Масштабируемость — SAN поддерживает очень большие развертывания;
• Высокая производительность — SAN использует отдельную сетевую структуру, предназначенную для операций, связанных с хранением данных;
• Упрощенное управление — с точки зрения системы SAN представляет собой единый объект;
• Физическая удаленность данных — значительно упрощается создание копий на случай стихийных бедствий или техногенных аварий;
• Высокая доступность.

Одним из драйверов рынка аналитики называют активную цифровую трансформацию предприятий в различных сферах. Этот процесс сопровождается миграцией бизнес-нагрузок в гибридные и многооблачные среды, что обуславливает необходимость создания систем SAN, обеспечивающих высокоскоростное подключение и надежность. Быстрое развитие виртуализированных сред и современных центров обработки данных повышает потребность в централизованных сетях хранения с высокой доступностью. Кроме того, активное использования искусственного интеллекта, машинного обучения и аналитики в реальном времени требует внедрения надежных решений для хранения данных, что способствует увеличению спроса на решения SAN.

Еще одним симулирующим фактором является необходимость обеспечения непрерывности бизнес-операций. Компании уделяют первостепенное внимание устойчивости и аварийному восстановлению информации в связи с ростом количества кибератак и сбоев в работе систем. Платформы SAN предлагают расширенные функции резервного копирования и репликации, гарантирующие безопасность и быстрое восстановление.

Вместе с тем значительные капитальные затраты, необходимые для формирования инфраструктуры SAN, включая сетевое программное обеспечение и аппаратные компоненты, могут быть слишком высокими для малых и средних предприятий, что сдерживает расширение рынка. Кроме того, для организации SAN требуется привлечение высококвалифицированного ИТ-персонала.

Львиную долю выручки в сегменте SAN приносит оборудование. С географической точки зрения лидирует Северная Америка, на которую пришлось 38% выручки в 2024 году. На втором месте находится Европа с 29%, а замыкает тройку Азиатско-Тихоокеанский регион с 22%. Далее следует Латинская Америка с 8%, за которой идут Ближний Восток и Африка с 3%. Крупными игроками в глобальном масштабе названы:

• Dell Technologies;
• HPE;
• IBM;
• Cisco Systems;
• Broadcom;
• NetApp;
• Hitachi Vantara;
• Fujitsu;
• Huawei Technologies;
• Lenovo Group;
• Pure Storage;
• DataCore Software;
• StarWind Software;
• Nutanix;
• NEC.

Аналитики Precedence Research полагают, что в дальнейшем среднегодовой темп роста в сложных процентах (CAGR) на рынке SAN составит 5,25%. Таким образом, к 2034 году затраты могут увеличиться до $36,63 млрд.^[1]

См. также

• Программно-определяемые системы хранения (Software-Defined Storage, SDS)
• Direct Attached Storage, DAS
• Сетевые устройства хранения (Network Attached Storage, NAS)
• Каталог продуктов и проектов СХД
• Резервное копирование данных

• Андрей Захаров, Основные системы хранения данных и их особенности
• Сети хранения данных

Примечания