Разработчики: | Яндекс (Yandex) |
Отрасли: | Информационные технологии |
Технологии: | Big Data |
Содержание |
История
2023: Публикация исходного кода
«Яндекс» раскрыл исходники своей главной платформы для работы с большими данными YTsaurus. Об этом пресс-служба компании сообщила 20 марта 2023 года.
Как рассказали в «Яндексе», платформа подходит для широкого круга задач, от аналитики до обучения сложных моделей с миллиардами параметров. Например, «Поиск» строит с помощью YTsaurus поисковый индекс, а беспилотные автомобили используют платформу, чтобы обрабатывать данные о поездках и улучшать свои алгоритмы. YTsaurus управляет суперкомпьютерами «Яндекса», распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.
К марту 2023 года в «Яндексе» платформа YTsaurus развернута на десятках тысяч серверов и обрабатывает экзабайты данных; с ней работает каждый второй сотрудник компании. YTsaurus можно использовать как классическую MapReduce-систему, но при этом она поддерживает и другие популярные подходы к обработке данных — например, у нее есть интеграции с ClickHouse и Apache Spark.
Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать ее под себя может любой желающий.
Яндекс ведет разработку YTsaurus — или YT, как мы называем ее внутри — с 2010 года. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры «Яндекса». Над платформой работают десятки разработчиков, и ее возможности постоянно расширяются, — сказал руководитель отдела технологий распределенных вычислений Максим Бабенко, чьи слова приводит пресс-служба «Яндекса» 20 марта 2023 года.[1] |
Примечания
Подрядчики-лидеры по количеству проектов
БизнесАвтоматика НПЦ (118)
Большая Тройка (46)
Сбербанк (14)
Умная Логистика (14)
Доверенная среда (13)
Другие (467)
Доверенная среда (5)
Большая Тройка (4)
Цифра (4)
БизнесАвтоматика НПЦ (3)
Ростелеком (3)
Другие (54)
БизнесАвтоматика НПЦ (13)
OneFactor (Уанфактор) ЕдиныйФактор (3)
РИР (Росатом Инфраструктурные решения) (3)
Яндекс (Yandex) (2)
Мегапьютер Интелидженс (Megaputer Intelligence) (2)
Другие (44)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
БизнесАвтоматика НПЦ (2, 117)
Большая Тройка (2, 46)
Умная Логистика (2, 14)
Доверенная среда (1, 13)
Цифра (2, 10)
Другие (259, 127)
Доверенная среда (1, 5)
Большая Тройка (2, 4)
Цифра (1, 4)
БизнесАвтоматика НПЦ (1, 3)
Умная Логистика (2, 2)
Другие (6, 8)
БизнесАвтоматика НПЦ (1, 13)
РИР (Росатом Инфраструктурные решения) (2, 3)
Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2)
МегаФон (2, 1)
Мобильные ТелеСистемы (МТС) (1, 1)
Другие (7, 7)
БизнесАвтоматика НПЦ (1, 7)
РИР (Росатом Инфраструктурные решения) (3, 4)
CM.Expert (АвтоЭксперт) (1, 2)
Датакаталог (1, 2)
Цифра (1, 2)
Другие (14, 14)
Сбербанк (2, 2)
Датакаталог (1, 2)
СПбГУ ИТМО (Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики) (1, 2)
Цифра (1, 2)
Rocket Group (Рокет Групп) (1, 2)
Другие (14, 15)
Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
Visary BI Платформа бизнес-аналитики - 117 (117, 0)
Большая Тройка: АИС Редактор территориальных схем - 39 (39, 0)
Искусственный интеллект (ИИ, Artificial intelligence, AI) - 24 (0, 24)
Доверенная среда: Триафлай BI-платформа - 13 (13, 0)
ZIIoT Платформа для работы с промышленными данными - 10 (10, 0)
Другие 82
Доверенная среда: Триафлай BI-платформа - 5 (5, 0)
ZIIoT Платформа для работы с промышленными данными - 4 (4, 0)
Искусственный интеллект (ИИ, Artificial intelligence, AI) - 3 (0, 3)
Visary BI Платформа бизнес-аналитики - 3 (3, 0)
Большая Тройка: АСУ Управление отходами - 2 (2, 0)
Другие 6
Visary BI Платформа бизнес-аналитики - 13 (13, 0)
Росатом Цифровое ресурсоснабжение - 3 (1, 2)
PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2 (2, 0)
N3.Аналитика - 1 (1, 0)
RT.Datalake Решение для хранения и обработки данных любых объемов - 1 (1, 0)
Другие 2
Visary BI Платформа бизнес-аналитики - 7 (7, 0)
Росатом Цифровое ресурсоснабжение - 4 (1, 3)
Искусственный интеллект (ИИ, Artificial intelligence, AI) - 2 (0, 2)
CM.Expert Data Mining платформа - 2 (2, 0)
ZIIoT Платформа для работы с промышленными данными - 2 (2, 0)
Другие 6
Искусственный интеллект (ИИ, Artificial intelligence, AI) - 4 (0, 4)
Visary BI Платформа бизнес-аналитики - 2 (2, 0)
Arenadata Catalog - 2 (2, 0)
ZIIoT Платформа для работы с промышленными данными - 2 (2, 0)
SberData Platform (Платформа данных Сбера) - 1 (1, 0)
Другие 4