Вопросы по теме 'debezium'
Как мы могли бы отслеживать oplog от вторичного узла mongodb в наборе реплик с коннектором debezium kafka?
Мы хотим использовать исходный коннектор debezium mongodb kafka против вторичного узла набора реплик, а не первичного (по крайней мере, для начала, чтобы быть уверенным, что мы никоим образом не влияем на функциональность основного потока).
В...
504 просмотров
schedule
26.04.2022
Почему Debezium создает темы для всех таблиц, даже если указан table.whitelist
Я использую плагин Debezium для Kafka Connect для потоковой передачи изменений в базе данных MySQL.
Я явно упомянул свою таблицу белого списка в
connector.properties
table.whitelist = tripDriverMapping
database.tables =...
1145 просмотров
schedule
24.02.2023
Коннектор Debezium MySQL (MariaDB): как возобновить работу с предыдущей позиции файла bin-log
Я использую Debezium-connector-mysql-0.7.5-plugin для CDC для подключения MariaDB v10.0.32. Записи CDC сохраняются в HDFS для дальнейшей обработки. Все было идеально, пока не произошла следующая ситуация:
Прекращено подключение
Остановил...
1161 просмотров
schedule
13.01.2023
Невозможно подключиться к Zookeeper на внешнем сервере через докер
В настоящее время я плохо знаком со всеми этими инструментами и прошу вас проявить ко мне терпение.
Я пытаюсь создать конвейер данных, чтобы передать изменения базы данных MySQL брокеру Kafka. Я пытаюсь следовать руководству, которое здесь ....
749 просмотров
schedule
05.04.2023
CDC-Debezium захват данных в цепочке
CDC-Debezium фиксирует событие, например Вставить, обновить или удалить, когда такое событие происходит в исходной системе, например. postgres, он передает данные и отправляет их в целевую систему, например. NoSQL или Apache-Kafka. Я новичок в...
101 просмотров
schedule
07.10.2023
Как настроить коннектор Debezium Mysql для создания примитивного ключа вместо объекта struct или json?
Я использую Debezium для обнаружения изменений в исходных таблицах MySql. Как я могу создавать сообщения Kafka, чтобы ключом было числовое ( Long ) значение вместо объекта Json?
Что я получаю:
key: {"foo_id": 123}
value: {"foo_id": 123,...
575 просмотров
schedule
19.03.2022
Дублированные промежуточные результаты соединений KStream-KStream в Kafka Streams
У меня такой сценарий:
Таблица A и Таблица B соединены с помощью FK.
Транзакционная вставка / обновление как в A, так и в B.
Debezium генерирует одно событие a для таблицы A и одно событие b для таблицы B.
Kafka Streams создает KStream...
521 просмотров
schedule
23.03.2022
Зарегистрировать зарезервированное ключевое слово в Ksql, и если да, то как я могу выбрать поле с таким именем
Я изучаю платформу Confluent (Kafka, Ksql и т. Д.). Я передаю данные в тему Kafka с помощью Debezium с Kafka Connect. Одно из полей в моей таблице базы данных «журнал» называется «регистр», которое является меткой времени, когда была добавлена...
186 просмотров
schedule
11.04.2023
Ошибка подключения Debezium Kafka - исключение TimeoutException: истекло время ожидания при получении метаданных темы
Я получаю сообщение об ошибке производителя подключения Debezium и не знаю, где я делаю ошибку или что-то упускаю. Ниже приведены свойства моего файла коннектора и докера. Возможно ли, что докер, развернутый на виртуальной машине, не может подключить...
1191 просмотров
schedule
29.03.2022
Ошибка аутентификации при создании соединителя mongo debezium
Я пытаюсь создать коннектор mongo debezium ниже, но получаю ошибку аутентификации. Пожалуйста, ознакомьтесь с подробностями ниже
POST http://localhost:8083/connectors
Полезная нагрузка:
{
"name": "mongodb-connector",
"config": {...
159 просмотров
schedule
12.07.2022
Debezium: Максимальный номер LSN не зарегистрирован в базе данных; убедитесь, что агент SQL Server запущен
Этот вопрос связан с: Debezium Как правильно зарегистрировать коннектор SqlServer в Kafka Connect - в соединении отказано
В Windows 10 у меня Debezium работает на экземпляре Microsoft SQL Server, который находится вне контейнера Docker. Каждые...
1654 просмотров
schedule
22.11.2022
извлекать и преобразовывать специфичные для сообщения kafka поля для коннектора приемника jdbc
У меня есть тема kafka, которая получает данные из базы данных mysql с использованием исходного соединителя Debezium mysql, ниже приведен формат одного из сообщений:
{
"Message": {
"schema": {
"type": "struct",...
1150 просмотров
schedule
12.04.2022
Соединитель Debezium Kafka CDC делает ключ как avro, даже если конвертер StringConverver
Это мои конфигурации соединителя:
curl -s -k -X POST http://***************:8083/connectors -H "Content-Type: application/json" -d '{
"name": "mysql-cdc-CUSTOMER_DETAILS-007",
"config": {
"tasks.max":"2",
"poll.interval.ms":"500",...
516 просмотров
schedule
08.09.2022
разъем kafka s3 не может подключить Minio
У меня есть система, файлы которой загружаются на SQL Server через приложение. Моя цель - передать эти загруженные файлы в MS SQL Server в Minio через Kafka.
Я установил брукеры Kafka через Strimzi. Затем я подготовил собственный образ Docker,...
892 просмотров
schedule
04.06.2022
IncompatableClassChangeError в парсере соединителя Debezium Mysql
У меня есть java-приложение, в котором я использую зависимость Debezium-connector-mysql, подобную этой
<dependency>
<groupId>io.debezium</groupId>...
93 просмотров
schedule
24.05.2023
Ошибка конфигурации соединителя Kafka: filter.condition: определен недопустимый путь json
Я пытаюсь использовать Filter SMT Confluent с примером Debezium unwrap-smt .
Я добавил следующие конфигурации в конфигурацию исходного коннектора (Debezium MySQL):
"transforms": "route,csFilter",
...
......
768 просмотров
schedule
11.05.2022
Debezium тема маршрутизации 3 таблицы
У меня есть 3 типа таблиц
raw_app_logs_$daystamp
raw_users_logs_$daystamp
city_logs_$daystamp
Теперь следующая тема Reroute отлично работает для 1 типа таблиц:
transforms=Reroute...
168 просмотров
schedule
02.08.2023
Настройте коннектор debezium для нескольких таблиц в базе данных
Я пытаюсь настроить коннектор Debezium для нескольких таблиц в базе данных MySQL (я использую debezium 1.4 в MySQL 8.0). У моей компании есть шаблон номенклатуры, которому нужно следовать при создании тем в kafka, и этот шаблон не позволяет...
357 просмотров
schedule
26.04.2022
Flink SQL (V 1.12.1) не может прочитать журнал изменений debezium из потока Kinesis
У меня возникли проблемы с чтением журнала изменений Debezium из потока Kinesis. Могу ли я получить представление о том, как я могу анализировать события журнала изменений с помощью Flink SQL.
Ниже представлена моя попытка проанализировать поток...
99 просмотров
schedule
12.03.2023
