Разработчики: | Яндекс (Yandex) |
Отрасли: | Информационные технологии |
Технологии: | Big Data |
Содержание |
История
2023: Публикация исходного кода
«Яндекс» раскрыл исходники своей главной платформы для работы с большими данными YTsaurus. Об этом пресс-служба компании сообщила 20 марта 2023 года.
Как рассказали в «Яндексе», платформа подходит для широкого круга задач, от аналитики до обучения сложных моделей с миллиардами параметров. Например, «Поиск» строит с помощью YTsaurus поисковый индекс, а беспилотные автомобили используют платформу, чтобы обрабатывать данные о поездках и улучшать свои алгоритмы. YTsaurus управляет суперкомпьютерами «Яндекса», распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.
К марту 2023 года в «Яндексе» платформа YTsaurus развернута на десятках тысяч серверов и обрабатывает экзабайты данных; с ней работает каждый второй сотрудник компании. YTsaurus можно использовать как классическую MapReduce-систему, но при этом она поддерживает и другие популярные подходы к обработке данных — например, у нее есть интеграции с ClickHouse и Apache Spark.
Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать ее под себя может любой желающий.
Яндекс ведет разработку YTsaurus — или YT, как мы называем ее внутри — с 2010 года. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры «Яндекса». Над платформой работают десятки разработчиков, и ее возможности постоянно расширяются, — сказал руководитель отдела технологий распределенных вычислений Максим Бабенко, чьи слова приводит пресс-служба «Яндекса» 20 марта 2023 года.[1] |
Примечания
Подрядчики-лидеры по количеству проектов
БизнесАвтоматика НПЦ (120)
Большая Тройка (46)
Умная Логистика (14)
Сбербанк (14)
Доверенная среда (13)
Другие (469)
Доверенная среда (5)
Большая Тройка (4)
Цифра (4)
Ростелеком (3)
БизнесАвтоматика НПЦ (3)
Другие (54)
БизнесАвтоматика НПЦ (12)
РИР (Росатом Инфраструктурные решения) (3)
OneFactor (Уанфактор) ЕдиныйФактор (3)
Сбербанк (2)
Яндекс (Yandex) (2)
Другие (44)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
БизнесАвтоматика НПЦ (2, 119)
Большая Тройка (2, 46)
Умная Логистика (2, 14)
Доверенная среда (1, 13)
Цифра (2, 10)
Другие (259, 127)
Доверенная среда (1, 5)
Большая Тройка (2, 4)
Цифра (1, 4)
БизнесАвтоматика НПЦ (1, 3)
Умная Логистика (2, 2)
Другие (6, 8)
БизнесАвтоматика НПЦ (1, 12)
РИР (Росатом Инфраструктурные решения) (2, 3)
Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2)
МегаФон (2, 1)
Netrika (Нетрика) (1, 1)
Другие (7, 7)
БизнесАвтоматика НПЦ (1, 5)
РИР (Росатом Инфраструктурные решения) (3, 4)
Цифра (1, 2)
CM.Expert (АвтоЭксперт) (1, 2)
Датакаталог (1, 2)
Другие (14, 14)
БизнесАвтоматика НПЦ (1, 7)
Сбербанк (2, 2)
Датакаталог (1, 2)
СПбГУ ИТМО (Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики) (1, 2)
Цифра (1, 2)
Другие (14, 16)
Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
Visary BI Платформа бизнес-аналитики - 119 (119, 0)
Большая Тройка: АИС Редактор территориальных схем - 39 (39, 0)
Искусственный интеллект (ИИ, Artificial intelligence, AI) - 24 (0, 24)
Доверенная среда: Триафлай BI-платформа - 13 (13, 0)
ZIIoT Платформа для работы с промышленными данными - 10 (10, 0)
Другие 82
Доверенная среда: Триафлай BI-платформа - 5 (5, 0)
ZIIoT Платформа для работы с промышленными данными - 4 (4, 0)
Visary BI Платформа бизнес-аналитики - 3 (3, 0)
Большая Тройка: АИС Редактор территориальных схем - 2 (2, 0)
Цифровая Траектория: Action Track (ATC) - 2 (2, 0)
Другие 8
Visary BI Платформа бизнес-аналитики - 12 (12, 0)
Росатом Цифровое ресурсоснабжение - 3 (1, 2)
PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2 (2, 0)
Yabbi Smart Panel (YSP) - 1 (1, 0)
МегаФон: Цифровой туризм - 1 (1, 0)
Другие 1
Visary BI Платформа бизнес-аналитики - 5 (5, 0)
Росатом Цифровое ресурсоснабжение - 4 (1, 3)
Искусственный интеллект (ИИ, Artificial intelligence, AI) - 3 (0, 3)
ZIIoT Платформа для работы с промышленными данными - 2 (2, 0)
Arenadata Catalog - 2 (2, 0)
Другие 4
Visary BI Платформа бизнес-аналитики - 7 (7, 0)
Искусственный интеллект (ИИ, Artificial intelligence, AI) - 5 (0, 5)
Luxms BI - 2 (2, 0)
ZIIoT Платформа для работы с промышленными данными - 2 (2, 0)
Arenadata Catalog - 2 (2, 0)
Другие 2