Kafka Connect: как я могу использовать AvroConverter без реестра схем?

В наших реквизитах, распределенных по рабочим, у нас есть:

value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=<dev-schema-url>

Мы заметили, что при использовании реестра схем производительность низкая. Могу ли я использовать AvroConverter без реестра схем? Я пробовал https://github.com/farmdawgnation/registryless-avro-converter, но мы сталкиваемся с:

java.io.IOException Not a data file

  1. Обращается ли к реестру схемы каждое сообщение, прочитанное коннектором kafka?

  2. Кэшируется ли схема?

  3. Какие еще варианты использования AvroConverter без реестра схем?


apache-kafka apache-kafka-connect avro confluent-schema-registry
person user10751899    schedule 23.01.2019    source источник
comment
Возможно, вам стоит показать свою конфигурацию с RegistrylessAvroConverter, если у вас возникли проблемы с этим   -  person OneCricketeer    schedule 24.01.2019
comment
Вы нашли решение проблемы? У меня тоже такое же исключение.   -  person Shikkou    schedule 30.05.2019

Ответы (1)


arrow_upward
0
arrow_downward

Мы заметили, что производительность низкая, когда мы используем реестр схем.

Вы проанализировали, в чем проблема с производительностью и что ее вызывает? Например, сетевой трафик? Время отклика из реестра схем? и т.п.

Очень много людей успешно используют реестр схем в производственной среде; производительность не является известной проблемой с реестром схем.

Обращается ли к реестру схемы каждое сообщение, прочитанное коннектором kafka?

No

Кэшируется ли схема?

да.

Какие еще варианты использования AvroConverter без реестра схем?

Никто; для AvroConverter требуется реестр схем.

Использованная литература:

person Robin Moffatt    schedule 23.01.2019