Вопросы по теме 'apache-kafka-connect'
Kafka-Connect-Hdfs - не удалось запустить HdfsSinkConnector
Я загрузил kafka connect с http://docs.confluent.io/2.0.0/quickstart.html#quickstart
Пытаюсь запустить коннектор hdfs. Вот настройки:
connect-standalone.properties:
bootstrap.servers=lvpi00658.s:9092,lvpi00659.s:9092,lvpi00660.s:9092...
1734 просмотров
schedule
19.10.2022
DataException: преобразование байта [] в данные Kafka Connect не удалось из-за ошибки сериализации
Я использую подключение Kafka для сохранения данных от брокера Kafka для эластичного поиска с помощью платформы Confluent.
Я написал SinkConnector для сохранения данных в эластичном поиске.
Конфигурация Connect-avro-standalone.properties:...
3132 просмотров
schedule
04.04.2022
Kafka соединяет сливную раковину elasticsearch (ошибка класса не найдена)
Я новичок в Kafka Connect. Я хочу протолкнуть свои сообщения из темы Kafka в elasticsearch. После ознакомления с доступной документацией .. Я загрузил и скомпилировал эластичный поисковый приемник из выпуска tar.zip (...
1244 просмотров
schedule
22.04.2022
Confluent HDFS Connector теряет сообщения
Сообщество, не могли бы вы помочь мне понять, почему ~3% моих сообщений не попадают в HDFS ? Я написал простого производителя в JAVA для генерации 10 миллионов сообщений.
public static final String TEST_SCHEMA = "{"
+...
191 просмотров
schedule
09.07.2023
Экспорт темы Kafka в MySql
Часто в целях отладки я хотел бы анализировать / проверять сообщения в теме Kafka.
Я считаю, что мы можем написать коннекторы для экспорта данных из Kafka Topics в MySql DB.
Прежде чем углубиться в это, я хотел бы убедиться, что это...
2230 просмотров
schedule
21.03.2022
Как мы могли бы отслеживать oplog от вторичного узла mongodb в наборе реплик с коннектором debezium kafka?
Мы хотим использовать исходный коннектор debezium mongodb kafka против вторичного узла набора реплик, а не первичного (по крайней мере, для начала, чтобы быть уверенным, что мы никоим образом не влияем на функциональность основного потока).
В...
504 просмотров
schedule
26.04.2022
Второй и третий распределенные рабочие коннекторы Kafka не работают правильно
С кластером Kafka из 3 и кластером Zookeeper того же самого я поднял один узел распределенного коннектора. Этот узел успешно справился с одной задачей. Затем я поднял второй соединитель, он, похоже, работал, поскольку часть кода в задаче определенно...
3510 просмотров
schedule
27.03.2022
Как загружать строки после определенного идентификатора и отслеживать новые строки с помощью Kafka JDBC Connector?
Я использую Kafka JDBC Connector для импорта данных из базы данных MySQL в тему Kafka. С приведенными ниже параметрами я могу отслеживать новые строки, вставленные в данную таблицу.
name=test...
597 просмотров
schedule
03.08.2022
Как включить коннектор приемника Kafka для вставки данных из тем в таблицы по мере включения приемника
Я разработал kafka-сток-коннектор (с использованием confluent-oss-3.2.0-2.11, фреймворк подключения) для своего хранилища данных (Amppol ADS), в котором данные из тем kafka хранятся в соответствующих таблицах в моем магазине.
Все работает должным...
315 просмотров
schedule
16.07.2022
Kafka Connect Sink Partitioning: подразбиение?
Если я запускаю Kafka Connect Sink, я указываю входной файл .properties , который указывает partitioner.class , такой как FieldPartitioner , который может секционироваться на основе поля записи, указанного в partition.field.name .
Итак, что,...
758 просмотров
schedule
05.08.2022
Kafka PubSub Connector: Jetty ALPN/NPN настроен неправильно
Я использую kafka_2.11-0.10.2.1 и коннектор pubsub, предоставленный Google здесь . Все, что мне нужно сделать, это передать данные из темы Kafka в тему PubSub с помощью автономного коннектора. Я выполнил все шаги, как и должен был:...
512 просмотров
schedule
03.04.2022
Интеграция Kafka Connect
Я пытаюсь получить данные из базы данных Oracle с помощью Kafka Connect. Объект по умолчанию, предоставляемый соединителями Kafka, имеет тип «GenericRecord». Это делает его слишком специфичным и приводит к ситуации, когда данные получаются путем...
613 просмотров
schedule
07.06.2022
java.lang.NoSuchMethodError: com.google.common.collect.Sets $ SetView.iterator () Lcom / google / common / collect / UnmodifiableIterator;
Я пытался подключить kafka к elasticsearch с помощью api kafka-connect. Версия Kafka - 0.11.0.0. Я выполнил следующие шаги:
1.Подключение коннектора Elasticsearch:
https://github.com/confluentinc/kafka-connect-elasticsearch.git
2. построить...
9143 просмотров
schedule
07.03.2022
Что мне следует использовать: Kafka Stream или потребительский API Kafka или Kafka connect
Я хотел бы знать, что для меня лучше всего: поток Kafka или потребительский API Kafka или подключение Kafka?
Я хочу прочитать данные из темы, затем обработать и записать в базу данных. Итак, я написал потребителей, но я чувствую, что могу написать...
1864 просмотров
schedule
19.01.2024
Могу ли я написать настраиваемое преобразование kafka connect для преобразования JSON в AVRO?
Я хочу использовать kafka-connect-hdfs для записи json-записей без схемы из kafka в файл hdfs. Если я использую JsonConvertor в качестве преобразователя ключа / значения, он не работает. Но если я использую StringConvertor, он записывает json как...
4078 просмотров
schedule
21.11.2022
Почему Debezium создает темы для всех таблиц, даже если указан table.whitelist
Я использую плагин Debezium для Kafka Connect для потоковой передачи изменений в базе данных MySQL.
Я явно упомянул свою таблицу белого списка в
connector.properties
table.whitelist = tripDriverMapping
database.tables =...
1145 просмотров
schedule
24.02.2023
Исключение соединителя Kafka ОШИБКА Не удалось отправить HTTP-запрос на конечную точку: http: // localhost: 8081 / subject / jdbc-source-accounts-value / versions
Я использую Confluent Platform 3.3 в качестве коннектора Kafka при запуске коннектора с помощью следующей команды:
./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties...
2078 просмотров
schedule
28.09.2023
Перенос сообщений разной тематики на hdfs с помощью kafka-connect-hdfs
Я хочу передать данные из kafka в hdfs с помощью confluent, и я провожу эксперименты с помощью quickstart в модели CLI успешно.
Теперь я намерен развернуть объединенную платформу в производственной среде. Есть ли подробное руководство по...
70 просмотров
schedule
17.04.2023
Не удается запустить Kafka-Connect
Я получаю следующую ошибку при запуске kafka-connect с помощью команды ./bin/connect-standalone ./etc/kafka/connect-standalone.properties ./etc/kafka-connect-elasticsearch/quickstart-elasticsearch.properties ". Поэтому kafka-connect не может...
909 просмотров
schedule
06.06.2022
данные kafka в elaticsearch
Я пытаюсь отправить данные от производителя apache kafka в эластичный поиск с помощью kafka connect elasticsearch
Получение следующей ошибки в elasticsearch:
[2017-12-21T11:00:54,979][DEBUG][o.e.a.b.TransportShardBulkAction]
[pageviews7][0]...
657 просмотров
schedule
30.11.2022
