«Яндекс» опубликовал исходный код YTsaurus — своей главной платформы для хранения и обработки больших данных. Её использует большинство сервисов компании. Об этом Sostav сообщили в пресс-службе «Яндекса».
Платформа подходит для широкого круга задач — от аналитики до обучения сложных моделей с миллиардами параметров, пояснили в компании. Например, «Поиск» строит с помощью YTsaurus поисковый индекс, а беспилотные автомобили используют платформу, чтобы обрабатывать данные о поездках и улучшать свои алгоритмы. YTsaurus управляет суперкомпьютерами «Яндекса», распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.
Как отмечают в компании, YTsaurus — отказоустойчивая и легко масштабируемая платформа: «В «Яндексе» она развёрнута на десятках тысяч серверов и обрабатывает экзабайты данных; с ней работает каждый второй сотрудник компании».
Кроме того, YTsaurus можно использовать как классическую MapReduce-систему, но при этом она поддерживает и другие популярные подходы к обработке данных — например, у неё есть интеграции с ClickHouse и Apache Spark.
Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать её под себя может любой желающий, уточнили в компании.
Максим Бабенко, руководитель отдела технологий распределённых вычислений «Яндекса»:
«Яндекс» ведёт разработку YTsaurus — или YT, как мы называем её внутри — с 2010 года. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям.
Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры «Яндекса». Над платформой работают десятки разработчиков, и её возможности постоянно расширяются.
Алексей Башкеев, руководитель Yandex Cloud:
Платформа YTsaurus отлично зарекомендовала себя в «Яндексе». Теперь мы сделали её доступной и за его пределами. Наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объёмы данных на тысячах серверов в условиях постоянно возрастающей нагрузки.
Ранее «Яндекс» опубликовал на GitHub исходный код счётчика «Метрики». Отмечалось, что разработчики смогут изучить его и модифицировать под свои задачи. Счётчик предоставляется по открытой лицензии Apache 2.0.