Департамент образования города Москвы (Аналитика образования)

В июле 2009г компании «Заказные ИнформСистемы» (CustIS) и «Электронная школа» завершили совместный проект по разработке и пилотному внедрению автоматизированной информационной системы (АИС) «Аналитика образования» в Информационно-аналитическом центре (ИАЦ) Департамента образования г. Москвы. Заказчиком выступила компания «Электронная школа» – системный интегратор, специализирующийся на решениях в сфере образования, а разработчиком программного обеспечения – «Заказные ИнформСистемы».

Предпосылки проекта создания системы «Аналитика образования»

Система образования г. Москвы включает 3816 образовательных учреждений, сбор и анализ информации о деятельности которых является крайне востребованной задачей. Функция её информационно-аналитической и технологической поддержки возложена на ИАЦ и окружные ИТ-центры.

С уровня образовательных учреждений поступает как агрегированная, так и первичная (в том числе персонифицированная) информация об учениках, кадрах, материально-техническом обеспечении и пр. Будучи собранными и накопленными в хранилищах, располагающихся на технологической площадке ИАЦ, данные нуждаются в обработке для представления в виде сводных аналитических отчетов ключевым сотрудникам Департамента образования, ИАЦ, окружных управлений образованием и их ИТ-центров.

Основная сложность получения необходимой сводной отчетности заключается в высокой динамике требований, предъявляемых к ней со стороны потребителей. Даже вид регламентированных отчетных форм подлежит постоянной модернизации, а существенная часть отчетов имеет ad hoc характер - требования к ним зависят от текущей ситуации и, как правило, не повторяются. В такой ситуации отчетные формы, реализуемые в системах-хранилищах данных, быстро устаревают и не способны удовлетворить запросы конечных пользователей. Как результат, формирование большей части отчетности вынуждены выполнять технические специалисты ИАЦ, либо окружных ИТ-центров путем осуществления прямых выборок из соответствующих информационных хранилищ, используя технические интерфейсы доступа.

Высокая оперативность получения аналитической информации потребителями при такой схеме работы обеспечена быть не может. Кроме того, имеет место высокая непрофильная нагрузка на технических специалистов. Поэтому цель выполнения проекта заключалась в обеспечении возможности самостоятельного и оперативного получения сводной аналитической информации непосредственно ее потребителями.

Структура существующих информационных потоков и целевое положение в ней системы «Аналитика образования»

По словам Павла Бобровникова, руководителя проекта со стороны «Электронной школы», задача создания и развертывания в Департаменте образования АИС, удобной для ключевых пользователей, на момент старта проекта была более чем актуальна.

Этапы и технологии проекта

Для проведения предпроектного обследования была создана рабочая группа, включающая специалистов «Электронной школы», ИАЦ и «Заказных ИнформСистем». В ходе обследования проводились встречи с сотрудниками Департамента образования, ИАЦ, окружных ИТ-центров.

По результатам были выявлены следующие моменты:

• налицо задача создания единой витрины аналитических данных для ключевых сотрудников системы образования, позволяющей с минимальными усилиями получать сведения, консолидированные из различных источников
• необходимо предоставить пользователям общие механизмы работы с такими источниками; также актуальна задача сопоставления поступающей из них однотипной информации
• особый интерес представляет возможность сопоставления значений различного рода показателей в одних и тех же разрезах (например, количество учеников на единицу компьютерной техники в разрезе образовательных учреждений)
• представляет интерес хранение и работа с аналитическими данными в разрезе даты/периода их актуальности с целью отслеживания динамики изменения. При этом задача хранения всей истории первичных данных в системах-источниках не всегда актуальна, первичные данные не обязательно сохраняются за всю историю и могут очищаться в этих системах с течением времени
• парк информационных систем, являющихся потенциальными источниками первичной информации, находится в постоянном развитии, поэтому важна возможность как изменения состава данных, получаемых из уже существующих источников, так и подключения к создаваемому инструменту новых, причём без участия поставщика решения

В ходе проработки задачи был выполнен анализ большого количества сводных отчетных форм и диаграмм как регулярного, так и разового использования. Их потребителями являются потенциальные пользователи новой системы. Возможность получения аналогичных форм и диаграмм с помощью системы была выбрана при проектировании в качестве одного из основных критериев соответствия архитектуры и интерфейсов системы решаемой задаче.

По итогам этапа предпроектного обследования, занявшего около месяца, была разработана концепция аналитической системы, предполагавшая реализацию BI инструмента в составе:

• хранилище агрегированных данных (Data WareHouse модуль, накапливающий сводные данные в виде OLAP кубов)
• настраиваемая подсистема загрузки и преобразования данных из систем-источников
• гибкие инструменты для выполнения запросов и построения отчетов
• мастер, позволяющий модифицировать и развивать структуру обрабатываемых данных без участия разработчика решения

Необходимо отметить, что процесс уточнения требований к системе со стороны пользователей не прекращался на всем этапе ее реализации. Этого удалось достичь благодаря применению гибких (общепринятый в IT-среде термин - Agile) методологий ведения проектов, набирающих популярность в последнее время. В частности, процесс разработки был построен компанией «Заказные ИнформСистемы» (CustIS) по методологии SCRUM, предполагающей периодические демонстрации промежуточных результатов ключевым пользователям для получения обратной связи и до-уточнения требований.

Для разработки системы компанией «Заказные ИнформСистемы» (CustIS) была применена собственная технологическая платформа CustIS Universal .Net и «тонкий клиент» CustIS Forms. Это позволило минимизировать трудозатраты на создание ядра серверной части и функциональных интерфейсов, сосредоточившись на основной бизнес-логике решения.

В системе используется промышленная СУБД Oracle, обеспечивающая высокую надежность хранения и скорость обработки данных.

Необходимо отметить, что созданная АИС не предъявляет высоких требований к аппаратной платформе. Достичь этого удалось за счет отказа от идеологии универсального хранения данных в пользу декларативно/императивного механизма, автоматически модифицирующего структуру базы при изменении состава данных, обрабатываемых в системе.

В результате выполнения проекта в течение четырёх месяцев был создан аналитический инструмент, решающий задачи агрегации данных из различных источников в виде показателей с произвольным количеством аналитических разрезов, построения произвольных аналитических отчетов и диаграмм на основе собранных и хранимых в системе агрегатов.

Удобный инструмент аналитика

Пользователи Департамента образования, ИАЦ и окружных ИТ-центров через единый интерфейс системы «Аналитика образования» могут оперативно получать произвольные аналитические отчеты по исходным данным, консолидированным из самых разнообразных источников. Даже очень сложные и объемные отчеты формируются за время, не превышающее нескольких секунд, что позволяет говорить о реальной применимости системы для поддержки процесса оперативного принятия решений.

В настоящее время в системе «Аналитика образования» описано более 30 ключевых показателей из различных систем-источников по следующим областям знаний:

• контингент (учащиеся образовательных учреждений)
• кадры образовательных учреждений
• материально-техническое обеспечение образовательных учреждений
• педагогическая нагрузка сотрудников

Каждый показатель имеет 10-20 аналитических разрезов, что дает пользователю соответствующее количество степеней свободы по выборке и представлению аналитической информации. При проектировании интерфейсов был сделан упор на их простоту и интуитивность.

Внешний вид интерфейсов настройки и отображения аналитического отчета с помощью конструктора простых отчетов системы

*рисунок открывается в отдельном окне

Более сложные отчетные формы могут быть получены с помощью конструктора композитных (составных) отчетов. Они позволяют пользователю делать «склейку» из произвольного количества простых отчётов, содержащую значения самых различных показателей. «Склеиваемые» грани простых отчетов должны иметь одинаковые размерности.

Форма настройки композитного отчета

*рисунок открывается в отдельном окне

Благодаря предусмотренной возможности сохранения параметров построения отчетных форм, простые и сложные отчеты, будучи однажды созданы квалифицированным пользователем, затем используются остальными.

Аналитические данные, представленные в виде диаграмм

Итоги и перспективы проекта «Аналитика образования»

В настоящее время сотрудниками ИАЦ и «Электронной школы» проводится работа по подключению к созданной системе новых систем-источников данных. При этом необходимости в содействии со стороны разработчиков не возникает – детальная документация и гибкая идеология решения позволяют специалистам заказчика (или пользователям) подключать новые источники данных путем простого описания структуры показателей и алгоритмов выборки данных из систем-источников.

Руководитель проекта со стороны «Электронной школы» Павел Бобровников так резюмировал итоги выполнения проекта: «В результате проекта мы получили удобный, эффективный инструмент, позволяющий в оперативном режиме решать вопросы формирования аналитической отчетности по запросу пользователей Департамента образования и окружных управлений».

Разработчиками компании «Заказные ИнформСистемы» (CustIS) и специалистами «Электронной школы» в ходе проекта создано универсальное решение класса BI, которое может быть использовано в различных сферах деятельности. Планируется его дальнейшее развитие в направлении расширения функционала конструктора отчетов, реализации возможности получения расчетных (производных) показателей, автоматического получения и агрегации новых порций данных по расписанию и пр.