Cloud Kafka
Работайте с распределенными потоками данных
Сфокусируйтесь на работе с данными и не тратьте время на поддержание инфраструктуры
Cloud Kafka автоматизирует развертывание инфраструктуры сервиса и легко интегрируется в архитектуру любого проекта. Отказоустойчивые кластеры, работающие по принципу «публикация/подписка», обеспечивают минимальные задержки и высокую пропускную способность
Администрирование сервиса на стороне VK Cloud. В несколько кликов вы получаете доступ к готовому кластеру
Масштабирование кластера без остановки работы и потери данных. Автоматическая замена вышедшего из строя узла
Посекундная тарификация по модели Pay-as-you-go – оплата только за потребляемые ресурсы
Инфраструктура VK Cloud аттестована по 152-ФЗ (УЗ-1). ЦОД расположены в РФ
Используйте весь потенциал технологий Kubernetes и Apache Kafka без дополнительных затрат на администрирование
Cloud Kafka на основе Kubernetes и Apache Kafka полностью готов к использованию. Вы можете группировать и централизованно управлять инстансами Cloud Kafka через удобный графический интерфейс Data Platform UI Console
Apache Kafka
Распределенный программный брокер сообщений с открытым исходным кодом. Активно разрабатывается сообществом и корпорацией Apache
Cloud Containers
Сервис VK Cloud для запуска готовых кластеров Kubernetes в облаке. Сервис соответствует стандартам Cloud Native Computing Foundation (CNCF)
Сценарии применения
Собирайте и обрабатывайте потоки данных в режиме реального времени
Обработка данных на лету возможна благодаря горизонтальному масштабированию для обработки растущего потока данных
Доставляйте данных в целевые системы
Событие, сгенерированное одним источником, быстро доставляется сразу в несколько систем без доработки логики на уровне приложения
Проектируйте Event-driven-системы
Подходит для проектирования приложений с event-driven архитектурой, логика работы которых завязана на события в других системах
Собирайте метрики для аналитики
Cloud Kafka позволяет в режиме реального времени собирать данные для аналитики и машинного обучения из распределенных источников, таких как счетчики на сайтах и в приложениях, базы данных и хранилища
Создайте систему уведомлений
Доставка пользователям уведомлений о новых заказах и обновлении статусов в реальном времени
Храните логи
Централизованное хранение логов и разгрузка баз данных и медленных систем от нецелевых функций
Агрегируйте события
Позволяет отделить данные, созданные людьми, от сгенерированных ботами. Очищенные данные в дальнейшем можно использовать для обучения ML-моделей
Высокопроизводительная обработка потоков с экономией до 60% затрат на инфраструктуру
Эффективная утилизация вычислительных ресурсов за счет автомасштабирования Kubernetes. Кластер получает больше или меньше ресурсов в зависимости от нагрузки
Высокая производительность и отказоустойчивость за счет равномерного распределения нагрузки на узлы кластера
Графический интерфейс Data Platform UI Console позволяет организовывать логические связи между дата-сервисами, а также назначать права на группы сервисов различным командам
Автоматическое развертывание необходимой для работы сервиса инфраструктуры и простая настройка кластера
Как работает Apache Kafka?
Инструмент работает по принципу «публикация/подписка». Поставщики (Producers) публикуют сообщения в топики, а потребители (Consumers) опрашивают Apache Kafka, чтобы получить новые сообщения.
При этом, Apache Kafka не отслеживает, какие записи потребитель уже прочитал, но хранит их на протяжении заданного времени. Благодаря этому сообщение можно обработать несколько раз.
Чем Cloud Kafka отличается от Apache Kafka?
<p>Cloud Kafka — сервис облачной платформы VK Cloud, созданный на основе Apache Kafka с открытым исходным кодом. Он позволяет автоматизировать следующие процессы:</p>
<ul>
<li>Развертывание инфраструктуры под экземпляр сервиса.</li>
<li>Распределение кластеров Kafka согласно лучшим практикам.</li>
<li>Масштабирование ресурсов экземпляра за счет Kubernetes.</li>
</ul>
<p>Используя Cloud Kafka, вы можете развернуть и настроить отказоустойчивый кластер, который можно использовать в качестве шины данных или как сервис для приема и обработки потоков событий.</p>
<p>Сервис легко интегрируется в инфраструктуру проекта, обеспечивает надежность, масштабируемость, минимальные задержки, высокую пропускную способность, а также предоставляет отказоустойчивые конвейеры, работающие по принципу «публикация/подписка».</p>
Какие версии Apache Kafka доступны в VK Cloud?
3.5.0
Документация
Здесь есть ответы на большинство вопросов по настройке сервисов
Не нашли ответ на свой вопрос?
Задайте его нам на портале поддержки, и мы оперативно ответим