ClickHouse - система управления базами данных (СУБД)

Основная статья: Система управления базами данных (СУБД)

ClickHouse — разработанная «Яндексом» система управления базами данных (СУБД), позволяющая хранить и быстро обрабатывать большие объемы информации для создания аналитических отчетов. Технология создавалась для сервиса веб-аналитики «Яндекс.Метрика», однако она применяется и в других проектах «Яндекса», а также для бизнес-аналитики и в мониторинге инфраструктуры. ClickHouse может использоваться в телекоммуникациях, рекламе, интернет-торговле и информационной безопасности.

2021

Создание компании ClickHouse, в которую инвестировали $50 млн

20 сентября 2021 года «Яндекс» сообщил о создании новой компании ClickHouse, в рамках которой будут развиваться продукты на основе одноименной открытой СУБД. В этот проект вложено $50 млн, помимо «Яндекса», в него инвестировали венчурные фонды Benchmark Capital и Index Ventures. Подробнее здесь.

Использование для ПАК "Прана"

8 февраля 2021 года компания РОТЕК сообщила о том, что программно-аппаратный комплекс ПРАНА переходит на российскую аналитическую систему управления базами данных Яндекс ClickHouse. Подробнее здесь.

2020: Yandex ClickHouse 20.8 с доработками от Arenadata

Очередная версия колоночной аналитической СУБД с открытым кодом ClickHouse 20.8 от Яндекс вышла с доработками Arenadata — функционалом Kerberos авторизации для Kafka. Об этом компания Arenadata сообщила 28 сентября 2020 года.

Arenadata — активный участник OpenSource-сообщества. Компания вносит вклад в развитие множества систем, включая Yandex ClickHouse, на базе которой работает колоночная СУБД Enterprise-уровня Arenadata QuickMarts (ADQM).

Теперь пользователь сможет легко настроить авторизацию в ADQMM — конфигурационный файл ClickHouse управляет библиотекой librdkafka, обеспечивающей взаимодействие с Kafka. Также заработали параметры, связанные с Kerberos.

Перед нами стояла довольно амбициозная задача, — рассказывает продакт-менеджер Arenadata QuickMarts Андрей Коняев. — Основная сложность была связана с тем, что в ClickHouse изначально заложено минимальное количество внешних зависимостей. Стандартный для продукта способ использования библиотек — полная интеграция. Еще одна особенность продукта — внимание к тестированию. Потребовалось много усилий на создание окружения из docker контейнеров с Kafka, ZooKeeper и Kerberos KDC для тестов появившегося функционала.

Arenadata планирует продолжать доработки. В ближайших планах — Kerberos авторизация доступа к HDFS.

СУБД Arenadata QuickMarts (ADQM) отличается от базового ClickHouse по ряду параметров. Особенности системы — простота установки и настройки из оркестратора Arenadata Cluster Manager, нативная интеграция с Arenadata DB (Greenplum), Hadoop, Streaming в рамках единой платформы Arenadata EDP, авторизация пользователей, в том числе поддержка интеграции с Kerberos Hadoop, а также мониторинг на базе Graphite и Grafana.

Компания осуществляет дополнительное тестирование и контроль качества релизов. Есть возможность оперативной доработки и развития функционала под требования заказчика. Еще одна особенность — наличие оперативной русскоязычной технической поддержки.

2019: Включение в Реестр отечественного ПО

21 июня 2019 года компания "Яндекс" сообщила о том, что в реестр отечественного программного обеспечения вошли Яндекс.Трекер — сервис для организации работы команды — и система управления базами данных ClickHouse. Теперь эти продукты будут иметь приоритет при выборе софта для госкомпаний. Подробнее здесь.

ClickHouse будет интересен организациям, которые имеют дело с данными. Эта система может обрабатывать огромные объёмы информации в реальном времени и строить аналитические отчёты в разных срезах. Сфера её применения: аналитика сайтов и приложений, реклама, телекоммуникации, обработка данных мониторинга и телеметрии, информационная безопасность — и это не полный список. Система легко масштабируется и позволяет хранить записи о триллионах событий.

2017: «Галактика» адаптировала веб-аналитику Yandex для промышленных задач

Корпорация «Галактика», российский разработчик корпоративных информационных систем, оптимизировала работу с «Яндекс.Метрика» для своих клиентов. Специалисты нашли различные возможности использования технологии веб-аналитики ClickHouse (Yandex) для анализа экономической деятельности предприятий. Технология сможет применяться как в системах планирования ресурсов предприятия класса ERP (Enterprise Resource Planning), так и в системах бизнес-анализа и поддержки принятия решений класса BI (Business Intelligence).

ClickHouse – это система управления базами данных, которая изначально разрабатывалась для веб-аналитики «Яндекс.Метрика». ClickHouse позволяет обрабатывать огромные объемы данных (свыше двух терабайт в секунду), сохраняя отказоустойчивость, и делает это гораздо быстрее других решений, присутствующих на мировом рынке. Чтобы выиграть для пользователей своих бизнес-приложений время, корпорация «Галактика» оптимизировала технологию Yandex. Для ее оценки специалисты использовали 13 миллионов собственных бухгалтерских проводок и рассчитали средствами ClickHouse оборот по счетам и поток денежных средств. Результат оказался убедительным. Если в традиционной учетной системе аналогичные задачи решаются за минуты, то в макете с использованием ClickHouse – за секунды.

Решение позволяет бизнес-пользователю работать с отчетами в интерактивном режиме. Например, быстро переключаться с просмотра остатков средств на начало месяца – к анализу оборота в разрезе счетов-субсчетов и т.д. За короткий сеанс работы пользователь может просчитать несколько вариантов управленческого решения и выбрать среди них оптимальный.

Заинтересованные пользователи ERP и BI решений могут поработать с данными в тестовом макете «Галактики» и убедиться, насколько быстро справляется ClickHouse с типичными бизнес-задачами.

2016: Раскрытие исходного кода

В середине июня 2016 года стало известно о планах «Яндекса» раскрыть исходный код ClickHouse. Об этом газете «Коммерсантъ» рассказали в самой интернет-компании.

По словам руководителя группы разработки ClickHouse Алексея Миловидова, публикация исходного кода — «один из самых значимых вкладов в Open Source в истории компании».

«Яндекс» раскрывает исходный код СУБД ClickHouse

Раскрывая исходный код ClickHouse вместо того, чтобы сделать продукт коммерческим, «Яндекс» проводит «большой эксперимент», считает руководитель российского представительства ESET Денис Матеев.

Если у него будут позитивные результаты, то «Яндекс» улучшит жизнь специалистам по электронной торговле, аналитикам, медиа и разработчикам софта, — отметил Матеев.

По его мнению, у ClickHouse есть потенциал применения в Security Operation Center — центрах мониторинга, куда стекается информация о событиях, имеющих отношение к информационной безопасности.

Консультант по безопасности Cisco Алексей Лукацкий полагает, что в случае готовности «Яндекса» делиться своей аналитикой и помощи во внедрении и настройке системы своим заказчикам, компания сможет стать «очень серьезным игроком» на рынке средств мониторинга информационной безопасности.^[1]

Примечания