Я использую Debezium-connector-mysql-0.7.5-plugin для CDC для подключения MariaDB v10.0.32. Записи CDC сохраняются в HDFS для дальнейшей обработки. Все было идеально, пока не произошла следующая ситуация:
- Прекращено подключение
- Остановил Кафку полностью
- Остановлен сервер MariaDB
Из записей CDC я вижу, что координаты последнего обработанного журнала бункера выглядят следующим образом:
File : mysql-bin.000008
Position: 2155
Из-за вышеперечисленных действий я столкнулся со следующими последствиями:
MariaDB вращает журнал своей корзины во время перезапуска, и текущий статус показан ниже.
+------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000009 | 326 | | | +------------------+----------+--------------+------------------+- Мой ранее зарегистрированный коннектор Debezium больше не доступен в недавно запущенном Kafka
В этой ситуации, если я начну с нуля, соединитель сделает исходный снимок со следующими действиями:
- Установите блокировки, затем прочитайте данные из всех таблиц
- После этого начните читать последний файл журнала bin, который является mysql-bin.000009.
Учитывая мою ситуацию, есть ли способ указать Debezium возобновить работу с mysql-bin.000008 - позиция 2155 и пропустить начальный снимок.
Заранее спасибо за помощь.
