Вопросы по теме 'kafka-producer-api'
Поведение продюсера Kafka
Я установил Kafka на своем локальном хосте и попытался отслеживать поведение Kafka Producer в случае проблем с сетью.
Даже когда все брокеры не работают, производитель не дает никаких ошибок. Я использую производителя синхронизации и Kafka версии...
360 просмотров
schedule
30.08.2022
Как записать файл в Kafka Producer
Я пытаюсь загрузить простой текстовый файл вместо стандартного ввода в Kafka. Скачав Kafka, я выполнил следующие шаги:
Запущен zookeeper:
bin/zookeeper-server-start.sh config/zookeeper.properties
Запущенный сервер...
70721 просмотров
schedule
13.12.2022
Как реализовать несколько производителей и несколько потребителей в kafka
Я новичок в kafka, у меня есть требование, например, у меня много серверов, которые производят огромное количество журналов, я хочу создать несколько производителей и потребителей.
Я реализовал для одного производителя и потребителя, может ли...
2115 просмотров
schedule
25.07.2023
Зависимости Kafka Maven
В чем разница между двумя приведенными ниже зависимостями? Действительно ли мне нужно первое приложение для создания потребительского или производственного приложения?
<dependencies>
<dependency>...
20403 просмотров
schedule
27.02.2023
Необходимо ли производителю и потребителю указывать раздел
Мы планируем, чтобы производитель (Java rest api) и потребитель (Java-клиент) работали на нескольких машинах, и все потребители принадлежали к одной группе потребителей.
1) В этом случае, если я не укажу раздел во время публикации сообщений...
1344 просмотров
schedule
17.03.2023
Как настроить ведение журнала для производителей Kafka?
Я использую клиент производителя Kafka, и у меня нет конфигурации log4j в моем проекте.
При запуске программа печатает много журналов отладки Kafka, которые мне действительно не нужны.
Итак, я попытался добавить log4j.properties, чтобы...
40982 просмотров
schedule
08.03.2022
Использование Kafka Producer в разных потоках
У меня есть производитель kafka для моего веб-приложения на основе Java, чтобы отправлять сообщения в Kafka. Согласно документации, я мог видеть, что производитель kafka является потокобезопасным. Означает ли это, что я могу иметь один экземпляр...
11856 просмотров
schedule
20.05.2022
Кафка всегда один потребитель потребляет тематическое сообщение в одной группе
У меня есть два потребительских сервера с одинаковым идентификатором группы, которые подписались на одну и ту же тему. Сервер кафка работает только с одним разделом. Насколько мне известно, сообщение должно использоваться случайным образом на этих...
1043 просмотров
schedule
02.03.2022
Производитель Kafka создает тему, но не может отправлять сообщения
Я новичок в Scala и Kafka, и у меня возникли проблемы.
Я пытаюсь подключить производителя scala kafka к серверу kafka, установленному на сервере cloudera express. Я уже однажды делал это на виртуальных машинах с помощью этих инструкций и...
2375 просмотров
schedule
05.09.2023
kafka multipart только один может получить сообщение
Я новичок в kafka. Я прочитал быстрый старт и создал тему с именем «тест» с 4 разделами, но при отправке сообщений в тему я обнаружил, что все сообщения сохраняются в разделе-0, а остальные три раздела пусты, почему?
есть мой java-код для отправки...
876 просмотров
schedule
26.06.2023
Как найти диапазон смещения для раздела темы в Kafka 0.10?
Я использую Кафку 0.10.0. Перед обработкой я хочу знать размер записей в разделе.
В версии 0.9.0.1 я находил разницу между смещением latest и earliest для раздела, используя приведенный ниже код. В новой версии зависает при получении метода...
4637 просмотров
schedule
24.07.2022
Почему Kafka Producer ack=all такой медленный при отправке синхронных сообщений
У меня есть приложение Kafka version : 0.9.0.1 , которое отправляет сообщения синхронно с ack=all .
С этой настройкой я получаю сообщение в секунду прибл. 75.
Когда я перехожу на ack=1 , я увеличиваю пропускную способность до 453 сообщений в...
4110 просмотров
schedule
30.05.2022
Влияние переназначения разделов Kafka на производительность
У меня есть производственный кластер Kafka с 5 узлами и примерно 500 темами. Мне нужно расширить свой кластер, чтобы добавить 2 новых узла, и, поскольку Kafka не обеспечивает автоматическое перераспределение данных, я хочу запустить...
3072 просмотров
schedule
28.03.2022
Kafka — разница между DefaultPartitioner с MessageKey и Custom Partitioner?
Я пытаюсь отправить сообщение KafkaProducer с помощью ProducerRecord .
new ProducerRecord(topicName,messageKey,message)
Здесь используется DefaultPartitioner , DefaultPartitioner будет использовать хэш ключа, чтобы гарантировать, что все...
598 просмотров
schedule
14.05.2023
SerializationException объекта даты Avro (логический тип даты)
У меня есть издатель, который принимает класс GenericRecord.
@Override
public Future<RecordMetadata> publish(GenericRecord genericRecord) {
Future<RecordMetadata> recordMetadataFuture =
getPublisher().send(new...
868 просмотров
schedule
21.09.2022
Kafka Java Producer с аутентификацией Kerberos
Я рассмотрел этот вопрос, прежде чем публиковать его. Он использовал версию кода производителя Kafka 0.8.0.
Мы используем Kafka 0.9.0.1 version . Поскольку наш кластер защищен с помощью Kerberos authentication . Как программно установить...
1392 просмотров
schedule
16.09.2022
Разница между свойствами request.timeout.ms и timeout.ms производителя Kafka
Ссылаясь на документацию Kafka , конфигурация производителя сообщений Kafka имеет свойства request.timeout.ms и timeout.ms . Читая описание этих двух свойств, я не могу четко их различить.
Может ли кто-нибудь объяснить разницу, используя...
16839 просмотров
schedule
31.05.2022
Производитель Kafka: как обрабатывать java.net.ConnectException: соединение отклонено
Я использую Кафку 0.10.1.0.
Это мой продюсер:
val props: Properties = ...
val producer = new KafkaProducer[String, AnyRef](props)
val callback = new Callback {
override def onCompletion(md: RecordMetadata, e: Exception): Unit = ...
}...
1386 просмотров
schedule
20.02.2022
Задержка в работе Kafka
Во время тестирования я делаю некоторую операцию, например, удаляю тему. Однако я могу видеть тему сразу после ее удаления.
Использование: bin / kafka-topics.sh --list --zookeeper localhost: 2181 Для фактического удаления требуется некоторое...
636 просмотров
schedule
20.05.2022
Kafka не потребляет все произведенные данные
У меня есть один экземпляр kafka, установленный на виртуальной машине с 8 ядрами и 32 ГБ ОЗУ.
Я пишу в него (производлю) с 10 разных машин и потребляю с одной машины, которые все в одной сети.
Размер данных, которые я выдаю, составляет...
377 просмотров
schedule
14.11.2022
