Вопросы по теме 'kafka-python'
Как остановить Python Kafka Consumer в программе?
Я работаю с потребителем Python Kafka (пытаюсь использовать kafka.consumer.SimpleConsumer или kafka.consumer.simple.SimpleConsumer в http://kafka-python.readthedocs.org/en/latest/apidoc/kafka.consumer.html ). Когда я запускаю следующий фрагмент...
10384 просмотров
schedule
21.06.2023
Передача данных PubMed в Kafka
В источнике данных PubMed мне нужно поместить вывод в очередь Kafka. Каждый источник можно рассматривать как тему Kafka. (Я знаю концепции Кафки и исследовал Кафку с помощью Python)
Я могу просматривать данные PubMed через FireFTP.
Может ли...
184 просмотров
schedule
18.07.2023
kafka-python: производитель не может подключиться
kafka-python (1.0.0) выдает ошибку при подключении к брокеру. При этом / usr / bin / kafka-console-продюсер и / usr / bin / kafka-console-consumer работают нормально.
Приложение Python также работало хорошо, но после перезапуска zookeeper оно...
24324 просмотров
schedule
18.08.2023
Тайм-аут производителя python-kafka в приложении uwsgi python
У меня проблема со связью с моим сервером kafka, когда мое приложение flask работает с uwsgi/nginx. Когда я запускаю приложение с помощью python в командной строке, все проходит нормально. Но когда я запускаю его с императором uwsgi, мой продюсер...
1062 просмотров
schedule
17.08.2022
kafka python – Bluemix MessageHub – ConnectionError: сокет отключен
Я использую клиент kafka python для отправки сообщений в концентратор сообщений, но заметил, что через некоторое время после запуска моего приложения оно перестанет отправлять сообщения в концентратор сообщений.
Затем я заметил следующее в своих...
999 просмотров
schedule
09.01.2023
Запуск Kafka-python приводит к зависанию всего компьютера (ESXi 6.5 VM Virtual Machine Freeze Kernel Panic)
Я использую Python2.7 с Zookeeper и kafka (0.8.2.1). Я использую последний клиент Kafka-python (pip install kafka).
Ниже приведен минимально воспроизводимый пример:
from kafka import KafkaConsumer
BOOTSTRAP_SERVER = 'myserver.com:my_port'...
146 просмотров
schedule
12.02.2024
Нет доступных брокеров при попытке подключиться к Kafka через Cloudera Data Science Workbench
Я пытаюсь реализовать проект GitHub ( https://github.com/tomatoTomahto/CDH-Sensor-Analytics ) в нашем внутреннем кластере Hadoop с помощью Cloudera Data Science Workbench.
При запуске проекта в Cloudera Data Science Workbench я получаю сообщение об...
2234 просмотров
schedule
12.10.2022
Почему добавление дополнительных потребителей не увеличивает пропускную способность?
У меня есть установка Kafka с одним узлом на виртуальной машине с 56 ГБ ОЗУ и диском 750 ГБ с одним брокером.
Вот как выглядит файл server.properties:
broker.id=1
listeners=PLAINTEXT://hostname:port
num.network.threads=15
num.io.threads=30...
460 просмотров
schedule
28.02.2023
Отправка сообщений в kafka для разделения разделов по ключу
У меня есть тема Kafka ( test-topic ) с 3 разделами и набор сообщений, который содержит ключ, который может принимать только 3 типа значений, я хочу, чтобы эти сообщения отправлялись в отдельные разделы на основе их ценность.
from kafka import...
182 просмотров
schedule
14.03.2023
Apache Kafka: программный мониторинг групп потребителей
Я хотел бы отслеживать группы потребителей (группы на основе Kafka, а не ZK) в моем кластере Kafka из приложения Python (я готов использовать либо библиотеку Kafka-python, либо слитный клиент Kafka). Цель состоит в том, чтобы запустить больше (или...
553 просмотров
schedule
23.02.2023
Kafka не получает сообщения при указании group_id в Python
Я использую Kafka ( kafka-python ) версии 3.0.0-1.3.0.0.p0.40. Мне нужно настроить потребителя для темы «моделирование» в Python. Когда я не указываю group_id, то есть group_id = None, он получает сообщения нормально. Однако, если я укажу group_id,...
2477 просмотров
schedule
15.02.2023
Опубликовать сообщение в облачном кластере Confluent с помощью kafka-python
Я использую пакет kafka-python для публикации сообщений в объединенном облачном кластере kafka.
Мой код выглядит следующим образом:
from kafka import KafkaProducer
producer=KafkaProducer(...
476 просмотров
schedule
18.08.2022
Производитель kafka-python — сбой соединения SSL — только Trustore
Я пытаюсь публиковать сообщения через python в тему кафки и получаю сообщение об ошибке. Я могу подключиться и опубликовать через CLI. Надеюсь на какое-то руководство. Я гуглил и читал документы. Спасибо!!
Успешная команда CLI:...
3241 просмотров
schedule
22.05.2024
Kafka Python Consumer Commit API
Мне нужно сделать программную фиксацию с помощью kafka-python api. Из документации я вижу, что мне нужно использовать API ниже, но не смог найти хороший пример использования:
Ему нужны смещения в виде словаря TopicPartition и...
175 просмотров
schedule
26.07.2023
Как найти задержку сообщений потребителя в kafka с помощью Python?
Я хотел уведомить другого человека по почте, если есть задержка в сообщении в потребителе kafka.
Как я могу это сделать?
378 просмотров
schedule
03.06.2023
Kafka Consumer не использует с последнего зафиксированного смещения после перезапуска
У меня есть опрос потребителей из подписанной темы. Он потребляет каждое сообщение и выполняет некоторую обработку (в течение нескольких секунд), переходит к другой теме и фиксирует смещение.
Всего 5000 сообщений,
перед перезапуском -...
511 просмотров
schedule
20.09.2022
Используйте Kafka на асинхронном сервере aiohttp
Так что я новичок в асинхронности и многопоточности/многопроцессорности в Python, а также новичок в Kafka в целом. Моя установка в настоящее время:
class Server:
self.sio = socketio.AsyncServer(async_mode="aiohttp")
self.app =...
99 просмотров
schedule
07.09.2022
Kafka-Python, производитель отправляет запись, но потребитель ее не получает
У меня проблемы с использованием kafka для моего кода на Python. Я использую python 2.7.5 и пакет kafka-python.
Я хочу отправить csv (300000 строк, 20 полей в строке) через темы кафки. Перед этим я сериализую каждую строку в файл json, и до сих...
283 просмотров
schedule
13.02.2024
Докер-контейнер Kafka не отвечает на запросы в сети
Я установил док-контейнер kafka с портами, сопоставленными с хост-машиной Windows.
составить файл:
version: '2'
services:
zookeeper:
image: confluentinc/cp-zookeeper:6.0.1
hostname: zookeeper
container_name: zookeeper
restart:...
70 просмотров
schedule
10.06.2023
kafka python - Как правильно находить новые темы kafka, на которые потребитель еще не подписан?
Я новичок в мире kafka и пытаюсь сделать следующее для потребителя kafka в python
получить список всех тем о кафках.
получить список тем, на которые подписался потребитель.
подписывайтесь на новые темы (на которые еще не подписывались)....
46 просмотров
schedule
15.08.2022
