как настроить планировщик Vertica для использования данных Avro из Kafka
Привет, я пытаюсь использовать Vertica Scheduler для использования данных Avro из темы Kafka. Я написал небольшой код Java, который создает простые объекты в виде данных Avro в Kafka. Я также поместил схему в реестр kafka-schema-register и вижу ее в браузере. Пытаюсь настроить планировщик Vertica, все команды проходят без ошибок. Я также запустил микропакет, но таблица пуста, и мой планировщик не использует данные из темы Kafka. Сначала я настроил файл конфигурации с именем schduler.properties:
config-schema=person100_sched
username=dbadmin
dbhost=10.50.50.16
dbport=5433
чем на Vertica DB я создал пул ресурсов
CREATE RESOURCE POOL person100_pool MEMORYSIZE '10%' PLANNEDCONCURRENCY 1 QUEUETIMEOUT 0;
мой следующий шаг - создание планировщика:
sudo ./vkconfig scheduler --create --operator dbadmin --frame-duration '00:00:02' --resource-pool person100_pool --conf scheduler.properties
мой следующий шаг - создать кластер
sudo ./vkconfig cluster --create --cluster person100_cluster --hosts kafka:9092 --conf scheduler.properties
мой следующий шаг - создать источник:
sudo ./vkconfig source --create --cluster person100_cluster --source person-avro --partitions 1 --conf scheduler.properties
мой следующий шаг - создание целевой таблицы:
sudo ./vkconfig target --create --target-schema public --target-table person100 --conf scheduler.properties
- Затем я создал таблицу в Vertica с теми же типами, что и схема Person.
мой следующий создать AvroParser
sudo ./vkconfig load-spec --create --parser KafkaAvroParser --load-spec person_load --conf scheduler.properties
мой следующий шаг - создать микропакет
sudo ./vkconfig microbatch --create --microbatch personBatch --target-schema public --target-table person100 --load-spec person_load --add-source person-avro --add-source-cluster person100_cluster --conf scheduler.properties
мой следующий шаг - запустить микробатч
sudo ./vkconfig launch --conf scheduler.properties
вроде все идет хорошо, но стол пуст
