Google Mesa

Mesa - распределенная СУБД для обработки непрерывно обновляемой информации, в состоянии обслужить триллионы запросов в течение суток.

8 августа 2014 года компания Google анонсировала технологию распределения хранилища данных между несколькими дата-центрами с помощью разработанной в компании архитектуры, способной продолжить путь к гораздо более масштабным, надежным и быстрым облачным аналитическим системам - Mesa.

В Google сообщили: Mesa обеспечит хранение петабайтов данных, обновляет миллионы строк в секунду и обслуживает триллионы запросов в сутки. Возможно распределение системы между несколькими центрами обработки данных и она будет продолжать работу при отключении одного из них. Технология создана для хранения и анализа контрольно-измерительных данных бизнеса онлайн-рекламы Google, но, по мнению разработчиков, систему можно использовать в других похожих задачах.

Mesa помогла Google решить ряд операционных задач, с которыми не справлялись традиционные хранилища данных и аналитические системы уровня предприятия.

Google требовалось чтобы новые данные подлежали анализу непосредственно по поступлению в базу, а большинство коммерческих хранилищ данных не поддерживают непрерывное обновление данных. Компания нуждалась в надежной гарантии согласованности запросов - консистентности, то есть одинаковый запрос из одного и того же источника всегда должен дать один и тот же результат, независимо от того, какой ЦОД обрабатывает запрос.

Это соответствие всегда обеспечивали только реляционные СУБД, но они не справляются с загрузкой петабайт данных, тем более, если база тиражируется между многими серверами в кластере, как это обычно делается на предприятиях для ускорения отклика и увеличения коэффициента безотказной работы. Базы NoSQL, такие как Cassandra, с легкостью справляются с загрузкой огромных объемов данных, но Google требовался гораздо более высокий уровень консистентности, чем обеспечивают большинство нереляционных СУБД. По словам специалистов компании, ни один из коммерческих продуктов и проектов Open Source не отвечал требованиям и тогда была создана Mesa.

В Mesa используется ряд других технологий, разработанных в компании, в том числе распределенная файловая система Colossus, распределенная система хранения данных BigTable и аналитический фреймворк MapReduce. Консистентность помогает обеспечивать распределенный протокол синхронизации Paxos, тоже созданный в Google.

Mesa имеет еще одно преимущество помимо масштабируемости и консистентности — она может работать на стандартных серверах, не требует специализированного дорогостоящего оборудования. Из-за этого она может действовать в качестве облачного сервиса, масштабируемого как вверх, так и вниз - по необходимости.

Mesa не поддерживает опрос данных с помощью команд SQL. Поэтому для Hadoop разработали технологии с поддержкой языков запросов, схожих с SQL - Hive, Impala и Shark.