Евгений Симонин, «Ростелеком»: Онлайн-голосование – это уникальный инфраструктурный проект

ЕВГЕНИЙ СИМОНИН: Сразу замечу, что для онлайн-голосования москвичей на выборах в Госдуму РФ 17-19 сентября будет использоваться платформа, которую разрабатывает ДИТ Москвы. И отдавать свои голоса столичные избиратели будут на портале mos.ru. А платформа, которую создает «Ростелеком», является основой будущей федеральной системы, и это решение будет использоваться в боевом режиме в шести субъектах РФ в этом году. Портал этой платформы: vybory.gov.ru.

Инфраструктура федеральной системы ДЭГ включает несколько ЦОДов «Ростелекома» (подчеркну - только «Ростелекома»), магистральные сети связи «Ростелекома», а также ИТ-оборудование, в котором в общем случае выделяется несколько слоев: сети передачи данных, хранения, виртуализации, контейнеризации, информационной безопасности и операционных систем. Дальше начинается сфера прикладного ПО, которое ставится на операционные системы и выполняет заложенную в него бизнес-логику.

ЕВГЕНИЙ СИМОНИН: ДЭГ – это мероприятие, которое должно быть проведено с высоким уровнем надежности и качества. Что мы для этого делаем? Во-первых, реализуется многократное резервирование всей инфраструктуры. Так, ЦОДы «Ростелекома» по своим техническим характеристикам соответствуют уровню надежности TIER III, все их компоненты многократно резервируются, с точки зрения инженерной инфраструктуры. Многократно резервируются не только ЦОДы, но и магистральные сети «Ростелекома». Резервирование осуществляется на уровне компонентов серверов, даже на уровне сетевых карт, контроллеров и т.п.

В целом, при проектировании инфраструктуры ДЭГ мы закладываем возможность отказа практически любого компонента инфраструктуры – ничего не должно приводить ни к деградации уровня сервиса, ни к перерывам, тем более, отказам в обслуживании. Пусть даже – гипотетически - перестанет работать целый ЦОД, пользователь вообще не должен заметить никаких сбоев в работе сервиса. То есть если человек в это время голосует, он должен завершить все процедуры без какого бы то ни было видимого изменения. Это необходимо, чтобы обеспечить легитимность всего процесса удаленного голосования.

Соответственно, мы выбираем то оборудование, которое соответствует уровню надежности данного мероприятия. И – что очень важно - разрабатываем такую архитектуру, которая дает возможность обеспечить те параметры, которые задают разработчики прикладных информационных систем. Это еще один очень важный момент - мы должны работать с ними в тесной связке.

ЕВГЕНИЙ СИМОНИН: Вы правы: в принципе, инфраструктура, может жить сама по себе. Так же, как и прикладной слой, - он тоже может жить собственной жизнью. Но так получается только в некоторых идеальных условиях, скажем, при небольших нагрузках, или когда ИТ-ресурс не полностью используется. А вот в условиях значительной нагрузки связка инфраструктура + прикладной уровень должна работать как единое целое. И общее архитектурное решение должно поддерживать этот подход. Поэтому мы очень серьезно подходили к процессу проектирования всех компонентов и системы ДЭГ в целом.

Профессионалы знают: любой приклад может завалить инфраструктуру. Потому что ресурсы инфраструктуры конечны: ресурсы серверов, систем хранения данных. И наша задача – на основе вводных данных из технического задания создать такое решение, чтобы инфраструктура выдержала, как рабочие нагрузки, так и периодические перегрузки.

ЕВГЕНИЙ СИМОНИН: Конечно. Поскольку сервис новый, не все удается четко спрогнозировать заранее. В этом году ЕДГ займет три дня, в течение которых система будет работать в продуктиве. И в течение всех этих трех дней нагрузка и на инфраструктуру, и на прикладную ИТ-систему может оказаться абсолютно непредсказуемой. Но какой бы она ни была, наша цель – с ней справиться, либо за счет дополнительных ресурсов, либо за счет тесной интеграции инфраструктуры и прикладного слоя.

Собственно, для этого предусмотрены тестирования: мы собираемся совместно с прикладниками и нагружаем инфраструктуру таким образом, чтобы понять ее пределы. Причем, делать это надо так, чтобы компоненты инфраструктуры буквально трещали по швам. Тогда мы выявляем и предел системы в целом, и предел каждого компонента, и можем спрогнозировать, что будет, если, например, при такой перегрузке еще и какой-нибудь блок выйдет из строя.

ЕВГЕНИЙ СИМОНИН: Для нас типовая инфраструктура – это, в первую очередь, проверенная и надежная инфраструктура. Это наш стандартный подход, который хорошо себя зарекомендовал в других наших проектах, например, для электронного правительства. Он предполагает, что у нас есть определенные требования к наработке оборудования на отказ, к качеству его технической поддержки со стороны вендоров, к срокам замены компонентов. И, конечно, предполагается, что в случае чего можно быстро доставить новое оборудование, провести его пусконаладку, и чтобы при этом инженер не смотрел на него как на предмет, который видит впервые в жизни. Это значит, что инженер должен быть обучен, знал что делать, и выполнял нужные работы профессионально и с требуемым качеством.

Достичь этого помогает, в числе прочего, модульный принцип построения инфраструктуры. Модульная инфраструктура - это те блоки, которые встраивается в нашу инфраструктуру без проблем, и которые мы можем получать от поставщиков в понятные сроки. Так мы обеспечиваем весьма быстрые, если не сказать агрессивные сроки запуска ИТ-инфраструктуры под все наши проекты.

ЕВГЕНИЙ СИМОНИН: Без сомнения. Сама программно-аппаратная инфраструктура – это, скажем так, видимая часть айсберга. А еще есть довольно значимая невидимая история - это процессы: процессы ввода оборудования, вывода оборудования из работы.

С этой точки зрения, скажу, что мы активно используем весь ITIL-стек, включая инцидент-менеджмент, change-менеджмент, релиз-менеджмент и т.д. Все эти процессы внедрены и, более того, на этапе пусконаладки есть процедуры приемки и работы с этим оборудованием. Абсолютно все делается только по заявкам, шаблонам. Образно говоря, инженер просто не попадет в ЦОД, если не заполнит заранее планы работы и отката в исходное состояние. А с учетом важности ДЭГ введены еще и дополнительные проверки. Так, при вводе оборудования в эксплуатацию оно тестируется не только по нашим стандартным схемам, но еще и с привлечением нашего внутреннего архитектурного надзора и контроля – он также проверяет и верифицирует оборудование, вводимое в строй. Также и любые изменения на этой инфраструктуре происходят под присмотром специалистов. У нас, например, есть специальная роль сервис-менеджера от инфраструктуры. Этот конкретный человек закреплен за данным сервисом, и он будет обеспечивать всю процессную часть вплоть до окончания голосования.

ЕВГЕНИЙ СИМОНИН: За вопросы информационной безопасности у нас в компании отвечает специализированное структурное подразделение - Центр кибербезопасности и защиты, с которым мы очень тесно интегрированы, как по проекту ДЭГ, так и по инфраструктуре электронного правительства. Тесная интеграция подразумевает, что у нас единые процессы: несмотря на то, что мы являемся разными подразделениями компании, мы четко понимаем цели и задачи друг друга. Мы максимально открыты и прозрачны.

В проекте ДЭГ нужно обеспечить, как легитимность всего избирательного процесса, так и доверие граждан к этому процессу. Фактически всю инфраструктуру ДЭГ мы проектировали вместе с Центром кибербезопасности, с учетом требований коллег к защите информации, возможным угрозам. Там, как полагается, есть модель нарушителя и угроз и, соответственно, все проектируется, с одной стороны, исходя из требования нивелирования нагрузки. И с другой стороны, исходя из потребностей нивелирования рисков информационной безопасности.

ЕВГЕНИЙ СИМОНИН: Есть два ключевых момента. Первый – это правильная постановка задачи на этапе проектирования и, соответственно, правильная ее реализация, с точки зрения архитектуры решения. Второй – это жесткое следование процессам. Только жесткое следование процессам и вдумчивое проектирование способны сделать инфраструктуру масштабируемой, стабильной, а главное управляемой. Мы можем потратить сколь угодно большое количество денег, средств, сил на создание такой инфраструктуры, однако одна команда инженера может все эти усилия свести к нулю. Не случайно я всегда говорю своим инженерам: представьте, что вы управляете ядерным реактором, нажимаете на кнопку, а дальше видите взрыв. Вроде бы одна кнопка, а сколько там бед и проблем из-за этого может произойти. Поэтому тут главный щит - это архитектура и процессы.

Не случайно, как я уже говорил, у нас реализован весь стек процессов ITIL: изменения, релизы и т.д. Чем ближе к запуску ДЭГ, тем больше компонентов попадает в релиз, который запрещает практически любые работы, кроме аварийных. Соответственно, имеются определенные регламенты и процедуры по оповещению, по сбору людей на аварии и так далее. И еще один важный момент: мало инфраструктуру построить, ее нужно еще и мониторить. У дежурных инженеров есть буквально минута – две, чтобы они могли через нашу специальную систему отправить оповещения и дальше контролировать подключение необходимых специалистов. Так происходит сейчас, а на этапе проведения ДЭГ будут работать круглосуточные команды, непрерывно занимающиеся мониторингом состояния инфраструктуры и нагрузок.

Важно еще понимать, что мы работаем командой. Еще в «Ростелекоме» есть подразделения, которые обеспечивают для нас сетевую связность и сам сетевой сервис. У нас ведь несколько ЦОДов плюс входные точки по сети Интернет для осуществления собственно голосования. К тому же есть сетевые интеграции с инфраструктурой электронного правительства, потому что, скажем, реализуются услуги по видеозаписи избирательного процесса, и авторизация идет через ЦОД. Вот почему мы тесно связаны с Центром управления системами связи «Ростелекома»: мы вместе проводим учения, и коллеги полностью в курсе той архитектуры, которая реализуется в проекте ДЭГ. Фактически мы такой объединенной командой: приклад, инфраструктура, безопасность, сеть - дальше и пойдем.

ЕВГЕНИЙ СИМОНИН: Да, конечно. В принципе, мы как провайдер IaaS (инфраструктуры как сервис) стараемся этот подход распространить на все наши сервисы, будь то электронное правительство или наши частные облака. Фактически мы предоставляем IaaS, но не совсем в классическом виде. Потому что в классическом механизме IaaS нет такого общего совместного погружения в детали инфраструктуры, как у нас происходит с прикладным уровнем или каналами связи. В классическом механизме IaaS реализуется классический сервисный подход с сервисными заявками и стандартными маршрутами обработки этих заявок. А в инфраструктуре ДЭГ из-за высокой важности мероприятия, мы применяем несколько иные подходы, чтобы понимать, что делает каждое из подразделений, какой возможен эффект в той или иной ситуации, и в какой момент времени он может повлиять на инфраструктуру.

ЕВГЕНИЙ СИМОНИН: Безусловно. Все коммерческие организации, в том числе, наши заказчики в лице государства, в первую очередь, смотрят на экономическую историю. Я не зря выше сказал про модульный подход: когда мы считаем нашу модульную архитектуру, мы как ставим во главу угла качество, надежность и стоимость этого оборудования. Все проекты у нас должны быть экономически окупаемы. И все наши проекты внимательно изучает заказчик, в том числе, государство. К тому же, поскольку мы играем наши конкурсы по стандартным открытым законным процедурам, в частности, 223-ФЗ, у нас нет шансов утвердить очень дорогое решение.

Кстати, требование экономической эффективности – это еще аспект, демонстрирующий важность четко выстроенного диалога с командами разработки и эксплуатации приклада. Если мы попытаемся перезаложить свои риски, то при совместном экономическом анализе они выплывут на поверхность. Поэтому мы с коллегами очень скрупулезно подходим к планированию инфраструктуры: закладываем дополнительные ресурсы на перегрузки после детальных расчетов.

ЕВГЕНИЙ СИМОНИН: Значительная часть инфраструктуры ДЭГ построена на оборудовании, которое находится в реестре отечественной продукции. По сравнению с пилотным проектом ДЭГ, который был реализован в прошлом году, доля такого оборудования и ПО заметно выросла. Это и средства информационной безопасности, и сетевое оборудование, а также вычислительная аппаратура и системы хранения данных.

ЕВГЕНИЙ СИМОНИН: Знаете, ДЭГ – это, в принципе, уникальный проект, который мы реализуем с нуля. На текущий момент любое из применяемых технических решений требует серьезной проработки затрат ресурсов. Дело в том, что здесь вообще нет неважных сервисов. Возьмите любой, хоть такой, на первый взгляд, простой, как сервис точного времени или сервис DNS. Напомню, что в состав ИТ-систем ДЭГ входит блокчейн-платформа, а блокчейн-цепочки без точного времени просто рассыплются, потому что потеряется консистентность данных. А если не будет работать внутренний DNS, то опять же нарушится связанность внутри комплекса. Получается так, что мы должны контролировать всю синхронную работу сервисов, и эта задача занимает существенную часть работ мониторинга в нашей ресурсно-сервисной модели. Архитектура сетевой связанности – тоже нетривиальная история, контейнеры, наша отечественная виртуализация – несущественных мелочей тут нет.

Но, знаете, самое главное в этом проекте – это все-таки не железки. Главное здесь – люди. Обычный инженер - на нем все и держится, на его профессионализме, самоотверженности, преданности делу и движению вперед. Поэтому мы всесторонне готовимся к запуску электронного голосования, не тешим себя надеждой, что все пройдет без сучка и задоринки. Как всегда, будем сидеть за рычагами, следить за данными мониторинга и решать возможные проблемы. А о том, что из инфраструктуры оказало самое значительное влияние на процесс онлайн-голосования давайте поговорим после выборов.