VK Cloud запустила облачный сервис для потоковой обработки данных в режиме реального времени — Cloud Streams. Об этом Sostav сообщили в пресс-службе VK.
Как пояснили в компании, он работает на базе системы Arenadata Streaming и позволяет построить корпоративное хранилище данных, создать аналитические сервисы для обработки сообщений, получать инсайты из неструктурированной информации.
Компании могут использовать Cloud Streams, чтобы создавать приложения для работы с потоковыми данными с помощью графического интерфейса и масштабировать ресурсы в облаке с учётом роста или снижения нагрузки. В VK Cloud можно добавить в облачный кластер новые вычислительные мощности или отключить ненужные, подчеркнули в компании.
«Cloud Streams может получать и обрабатывать данные из корпоративных и разрозненных внешних систем, хранить их в течение заданного периода времени и возвращать пользователям с требуемой нагрузкой. Сервис также можно использовать как шину данных между корпоративными приложениями», — отметили в компании.
Сервис можно интегрировать с компонентами Cloud Big Data, со всеми управляемыми СУБД в VK Cloud, а также с инструментами Elasticsearch, Couchbase, Cassandra благодаря широкому набору API. Кроме того, Cloud Streams совместим с Arenadata Hadoop (на базе экосистемы сервисов Apache Hadoop) и Arenadata DB на базе Greenplum.
«Это позволяет построить комплексное решение для всех этапов работы с большими данными с помощью продуктов из реестра российского ПО», — считают в VK.
В основе сервиса — брокер сообщений Apache Kafka и инструмент для автоматизации потоков данных Apache NiFi. Эти компоненты будут доступны пользователям Cloud Streams как управляемые сервисы.
Kafka и NiFi — стандарты в построении систем для работы с большими массивами данных. Они позволяют реализовать обмен сообщениями между серверными приложениями и управлять потоками данных из разных источников.
Михаил Тутаев, директор по продукту VK Cloud:
Cloud Streams предоставляет компаниям стек технологий для обработки информации в режиме реального времени. Облачные сервисы позволяют быстро разворачивать необходимые инструменты и по клику управлять ресурсами при изменении нагрузки.
Это актуально для компаний, работающих с большими объёмами потоковых данных. Среди них, например, стриминговые сервисы, компании из финансового сектора, поставщики промышленных решений на базе интернета вещей. Решение построено на базе продуктов российского вендора — Arenadata — и находится в облаке VK Cloud, что обеспечивает повышенную защиту чувствительных данных.
Антон Чевычалов, директор по информационным технологиям Arenadata:
Вместе с нашим партнёром VK Сloud мы предлагаем полностью российское решение для разнопрофильной работы с данными в облачной среде. Мы вкладываем значительные ресурсы в адаптацию наших программных продуктов, чтобы у заказчиков была возможность полноценно использовать ПО Arenadata в облаках.