Yandex Database (YDB)

Yandex Database (YDB) — это распределённая отказоустойчивая NewSQL СУБД, разработанная в «Яндексе». По заявлениям разработчиков, она может являться альтернативой имеющимся решениям в следующих случаях:

• В системах, которым необходима поддержка ACID-транзакций между таблицами с нагрузкой, неравномерной по времени;
• В системах, требующих обработки и хранения большого объема данных;
• При разработке нового продукта, для которого уже на этапе дизайна с высокой вероятностью ожидается большая нагрузка (тысячи запросов в секунду к БД) и требование строгой консистентности;
• В качестве бэкенда для баз данных с плохо предсказуемой нагрузкой.

2024

Поддержка аналитической обработки данных

Яндекс 20 декабря 2024 года анонсировал запуск компонента YDB DWH для поддержки аналитической обработки данных в СУБД Яндекса (YDB). Она поддерживает работу со сложными аналитическими запросами (OLAP), способна хранить сотни терабайт данных, горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке (шардирования), обеспечивает быстрое выполнение запросов благодаря массивно-параллельной архитектуре (МРР).

Аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. В платформу СУБД Яндекса также входит движок выполнения запросов со спиллингом данных на диск, стоимостной оптимизатор, федеративные SQL-запросы к внешним источникам данных (S3, PostgreSQL, Greenplum, Oracle, MS SQL), что позволяет реализовывать сценарий создания корпоративного хранилища данных. В планах реализация поддержки SQL диалекта PostgreSQL для бесшовной интеграции как в OLAP-, так и в OLTP-сценариях.

Платформа распространяется по коммерческой лицензии для установки в контуре заказчика, как управляемый сервис в Yandex Cloud.

Благодаря запуску компонента YDB DWH, СУБД Яндекса стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов. Мы готовы поделиться этим решением с рынком, которому очевидно не хватает универсальных СУБД, способных работать в бизнес-критичных сценариях. Созданные Яндексом центры компетенций и команда, которая разрабатывает СУБД уже более 10 лет, позволят заказчикам быстро достичь результатов при миграции. Это особенно актуально для решений финансового, телекоммуникационного и ритейл-сектора, — сообщил Алексей Курочка, коммерческий директор YDB.

По оценке Яндекса, рынок систем по обработке данных в России в 2025 г. составит 55 млрд руб. Доля аналитических СУБД составит 32% от общего рынка обработки данных.

Помимо YDB DWH, в линейку лицензируемых надстроек СУБД Яндекса также входит шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы — компонент YDB Enterprise для высокопроизводительной обработки транзакций.

В основе ПАК для бизнес-критичных систем OpenYard

Производитель серверного оборудования OpenYard запустит программно-аппаратный комплекс для бизнес-критичных систем на основе технологии YDB. Данное индустриальное решение предназначено для высоконагруженных корпоративных инфраструктур с повышенными требованиями к надежности и отказоустойчивости — например, крупных банков, промышленных, телекоммуникационных компаний. Программно-аппаратный комплекс будет доступен к предзаказу уже в 2024 году. Об этом OpenYard сообщил 11 октября 2024 года. Подробнее здесь.

Экс-директор Oracle Systems в России назначен коммерческим директором СУБД «Яндекса»

В июне 2024 года Алексей Курочка возглавил коммерческий департамент системы управления базами данных «Яндекса» YDB. Подробнее здесь.

2022: Раскрытие исходников СУБД

20 апреля 2022 года «Яндекс» сообщил о выкладывании в открытый доступ системы управления базами данных YDB (Yandex Database). Код, а также документация, инструменты SDK и все решения для работы с базой предоставляется по открытой лицензии Apache 2.0. Документация опубликована в хранилище GitHub.

Открытие проекта создаёт интереснейшую для всех win-win-ситуацию. У сообщества, с одной стороны, появляется возможность пользоваться уникальными наработками, в которые Яндекс инвестировал сотни человеко-лет, познакомиться с кодом, свободно запускать и разрабатывать у себя решения на базе YDB, — говорится в сообщении «Яндекса» на «Хабре».

«Яндекс» раскрыл исходники своей СУБД

Еще одной причиной открытия исходников СУБД в компании назвали сильное увеличение вариативности пользователей. «Яндекс» сможет получать обратную связь от мирового сообщества и улучшать продукт. В компании добавили, что необходимо устранить барьер для пользователей, которые заинтересованы в технологии, но останавливаются, опасаясь закрытости или невозможности использовать её на своем оборудовании или в своих облаках.^[1]

Мы уверены, что бурное развитие технологий, которое мы наблюдаем в последние десятилетия, было бы невозможно без применения открытого исходного кода. Доступность технологий способствует их распространению и стимулирует к ним интерес. Например, уже нельзя представить себе интернет без таких баз данных, как MySQL, PostgreSQL или ClickHouse. Публикуя код YDB, мы продолжаем следовать принципам открытости и делимся со всеми наработками, на которые потратили почти десять лет. Теперь технология, которая позволяет «Яндексу» быстро масштабироваться и двигаться вперёд, будет доступна всем под свободной лицензией Apache 2.0., — рассказал Алексей Башкеев, генеральный директор Yandex Cloud.

Отмечается, что к апрелю 2022 года «Яндекс» использует систему YDB больше пяти лет, проекты в ней размещают команды «Алисы», «Такси», «Маркета», «Метрики» и других сервисов. В YDB находится почти 500 проектов. Развернуть можно на собственных или сторонних серверах — в том числе в Yandex Cloud или других облачных сервисах. В компании отметили, что YDB работает на стандартном железе, её можно развернуть везде с помощью оператора Kubernetes или вручную, в то время как код большинства систем ведущих облачных провайдеров закрыт, и некоторые из этих продуктов привязаны к специализированному оборудованию. Согласно заявлению разработчиков, СУБД YDB может обрабатывать миллионы запросов в секунду.^[2]

«Яндекс» систематически выкладывает в open source свои ключевые технологии. Так, в открытом доступе находится библиотека машинного обучения CatBoost, которая используется в Поиске и других сервисах «Яндекса». В 2016 году компания опубликовала исходный код ClickHouse — высокопроизводительной аналитической системы управления базами данных.

2020: Общая доступность в «Яндекс.Облаке»

23 сентября стала общедоступной новая система управления базами данных Yandex Database (YDB). «Яндекс» начал предлагать ее как сервис в обычном и бессерверном вариантах на своей облачной платформе «Яндекс.Облако».

База данных относится к классу NewSQL решений, которая задумывалась как СУБД для случаев, когда не хватает производительности или функциональности классических СУБД, говорит руководитель платформы «Яндекс.Облако» Алексей Башкеев. В самом «Яндексе» столкнулись с этим много лет назад. Поэтому компания и разработала и стала у себя использовать эту СУБД, пояснил он. Теперь эта система используется в «Яндекс.Поиске», «Яндекс.Облаке», голосовом помощнике «Алиса», «Яндекс.Коллекциях», «Яндекс.Мессенджере», на сайте «Авто.ру»

Для внешних пользователей с момента анонса в 2019 году YBD была доступна в «Яндекс.Облаке» в некоммерческом режиме предпросмотра по запросу. Алексей Башкеев рассказал TAdviser, что ее тогда сделали доступной в облаке, чтобы проверить спрос на эти решения. По его словам, несколько сотен компаний проявили интерес.

Один из основных видов спроса, который мы почувствовали, это большие внедрения, где тех самых мощностей или подходов стандартных СУБД не хватает и хочется чего-то другого. Вместе с тем, мы увидели, что растет и рынок бессерверных решений. Поэтому мы добавили и такую возможность к YDB, - объяснил он TAdviser.

Yandex Database вышла из стадии preview (изображение - студия Юлии Бедросовой)

Программный интерфейс бессерверной версии YDB совместим с API популярного бессерверного решения Amazon DinamoDB. Это существенно расширит границы применимости YDB, рассчитывают в компании. Олег Коверзнев, операционный директор «Яндекс.Облако», говорит, что компания не зря обеспечивает совместимость своей СУБД с глобальной базой данных, которая уже масштабно используется. Сейчас компания делает максимум, чтобы снизить порог входа в эту технологию, добавил он.

Мы, скорее, рассчитываем не на 1-2 крупных внедрения, а на сотни, тысячи пока небольших проектов, которые будут расти и развиваться на базе этой технологии, - говорит Коверзнев.

По словам Алексея Башкеева, YDB – это долгосрочная инвестиция. Дальнейшие планы развития YDB компания скорректирует в зависимости от того, насколько увидит спрос на нее, добавил руководитель платформы «Яндекс.Облако».

В компании напомнили, что у «Яндекса», как и Mail.ru, есть и open source решение – СУБД ClickHouse, которая уже давно представлена в облаке.

YDB стала общедоступной в рамках крупного обновления сервисов «Яндекс.Облака». Помимо нее, компания представила еще ряд новых сервисов для хранения и управления данными.

Примечания