Вопросы по теме 'kafka-consumer-api'
Производители / потребители Kafka в глобальной сети?
У меня есть кластер Kafka в центре обработки данных. Группа клиентов, которые могут обмениваться данными через WAN (даже через Интернет), будут отправлять / получать сообщения в реальном времени в / из кластера.
Я прочитал из документации Кафки :...
4371 просмотров
schedule
01.05.2022
Как я могу создать Multiconsumer для одной очереди на apache kafka?
Привет, в моем сценарии есть очередь, в которую множество ресурсов помещают сообщения в эту очередь, и многие потребители читают сообщения и выполняют определенную работу.
для этого сценария я создаю тему в Kafka с помощью этой команды...
1145 просмотров
schedule
27.03.2023
Последствия установки log.retention.hours очень большого числа
Я изучаю возможность использования Kafka в качестве основного хранилища для шаблона поиска событий. Мне трудно понять, стоит ли хранить вещи в Кафке на более длительный срок или почему бы и нет.
Каковы будут последствия простой установки очень...
621 просмотров
schedule
22.11.2022
Использует ли потребитель высокого уровня новое управление смещением в Kafka 0.8.2?
В 0.8.2 кажется, что фиксация смещений больше не имеет тех проблем с производительностью, которые были раньше ( http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0-8-2/ ). Использует ли это потребитель высокого уровня или это отдельный...
904 просмотров
schedule
12.05.2023
Уточнение операций смещения API Kafka Java
Я пытаюсь использовать низкоуровневый Consumer Java API для управления смещениями вручную с последней версией kafka_2.10-0.8.2.1. Чтобы проверить правильность смещений, которые я фиксирую / считываю из Kafka, я использую инструмент...
6093 просмотров
schedule
04.11.2022
Как остановить Python Kafka Consumer в программе?
Я работаю с потребителем Python Kafka (пытаюсь использовать kafka.consumer.SimpleConsumer или kafka.consumer.simple.SimpleConsumer в http://kafka-python.readthedocs.org/en/latest/apidoc/kafka.consumer.html ). Когда я запускаю следующий фрагмент...
10384 просмотров
schedule
21.06.2023
Потребитель Kafka использует 100% процессора
У меня есть потребитель кафки, который отлично работает уже несколько дней. Вчера брокер упал. С тех пор потребитель показывает 100% загрузку процессора. Использование значительно снизилось (менее 10%), когда брокер был на подъеме. Мне любопытно,...
4905 просмотров
schedule
11.06.2024
Как записать файл в Kafka Producer
Я пытаюсь загрузить простой текстовый файл вместо стандартного ввода в Kafka. Скачав Kafka, я выполнил следующие шаги:
Запущен zookeeper:
bin/zookeeper-server-start.sh config/zookeeper.properties
Запущенный сервер...
70721 просмотров
schedule
13.12.2022
Как реализовать несколько производителей и несколько потребителей в kafka
Я новичок в kafka, у меня есть требование, например, у меня много серверов, которые производят огромное количество журналов, я хочу создать несколько производителей и потребителей.
Я реализовал для одного производителя и потребителя, может ли...
2115 просмотров
schedule
25.07.2023
Может ли группа потребителей запомнить, на какие темы она подписана?
Я новичок в Kafka, и я пытаюсь создать функциональность подписки на несколько продуктов. Допустим, есть N производителей, называемых P1, P2, P3... и M, количество потребителей C1, C2, C3.
Теперь C1 нужно подписаться на P1, P2, а в какой-то момент...
256 просмотров
schedule
22.11.2022
Зависимости Kafka Maven
В чем разница между двумя приведенными ниже зависимостями? Действительно ли мне нужно первое приложение для создания потребительского или производственного приложения?
<dependencies>
<dependency>...
20403 просмотров
schedule
27.02.2023
Необходимо ли производителю и потребителю указывать раздел
Мы планируем, чтобы производитель (Java rest api) и потребитель (Java-клиент) работали на нескольких машинах, и все потребители принадлежали к одной группе потребителей.
1) В этом случае, если я не укажу раздел во время публикации сообщений...
1344 просмотров
schedule
17.03.2023
Сообщения о распаковке KafkaSpout(Storm)
Я использую KafkaSpout для приема сообщений от Kafka.
Сообщения создаются с помощью org.apache.kafka.clients.producer.KafkaProducer сжатия gzip props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip");
Как установить тип сжатия в KafkaSpout...
145 просмотров
schedule
04.02.2023
добавлен потребитель kafka для динамического обнаружения тем
Я использую KafkaConsumer для получения сообщений с сервера Kafka (темы) ..
Он отлично работает для тем, созданных до запуска Consumer code ...
Но проблема в том, что это не будет работать, если темы создаются динамически (я имею в виду, что...
7551 просмотров
schedule
10.04.2022
Кафка всегда один потребитель потребляет тематическое сообщение в одной группе
У меня есть два потребительских сервера с одинаковым идентификатором группы, которые подписались на одну и ту же тему. Сервер кафка работает только с одним разделом. Насколько мне известно, сообщение должно использоваться случайным образом на этих...
1043 просмотров
schedule
02.03.2022
Кафка согласование работы / офсета с потребителем
В настоящее время я пытаюсь разработать масштабируемую потребительскую архитектуру для kafka, и у меня возникают некоторые проблемы с координацией смещения. Для моего варианта использования важно, чтобы каждое сообщение, потребляемое kafka,...
305 просмотров
schedule
25.07.2023
Производитель Kafka создает тему, но не может отправлять сообщения
Я новичок в Scala и Kafka, и у меня возникли проблемы.
Я пытаюсь подключить производителя scala kafka к серверу kafka, установленному на сервере cloudera express. Я уже однажды делал это на виртуальных машинах с помощью этих инструкций и...
2375 просмотров
schedule
05.09.2023
Как найти диапазон смещения для раздела темы в Kafka 0.10?
Я использую Кафку 0.10.0. Перед обработкой я хочу знать размер записей в разделе.
В версии 0.9.0.1 я находил разницу между смещением latest и earliest для раздела, используя приведенный ниже код. В новой версии зависает при получении метода...
4637 просмотров
schedule
24.07.2022
Как удалить группу потребителей kafka (созданную с помощью нового API-интерфейса потребителя)?
Я создал потребителей kafka с помощью нового потребительского API. Я использую kafka 2.10-0.9.0.1. У нас есть 1 группа потребителей с 1 экземпляром потребителя в каждой группе.
Сценарий Kafka 'kafka-consumer-groups.sh' предоставляет способ...
7988 просмотров
schedule
20.10.2023
Прочтите тему Kafka в пакетном задании Spark
Я пишу пакетное задание Spark (v1.6.0), которое читает из темы Kafka. Для этого я могу использовать org.apache.spark.streaming.kafka.KafkaUtils#createRDD , однако мне нужно установить смещения для всех разделов, а также нужно где-то их хранить (ZK...
7399 просмотров
schedule
22.09.2022
