Вопросы по теме 'confluent-schema-registry'
Контейнер реестра схемы: сервер неожиданно умер при запуске с использованием docker-compose
Я написал файл docker-compose.yml для создания следующих контейнеров:
Confluent-Zookeeper
Конфлюент-Кафка
Реестр Confluent-Schema
Я хочу, чтобы один файл docker-compose запускал необходимые контейнеры, предоставлял необходимые порты и...
2532 просмотров
schedule
23.03.2024
Исключение соединителя Kafka ОШИБКА Не удалось отправить HTTP-запрос на конечную точку: http: // localhost: 8081 / subject / jdbc-source-accounts-value / versions
Я использую Confluent Platform 3.3 в качестве коннектора Kafka при запуске коннектора с помощью следующей команды:
./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties...
2078 просмотров
schedule
28.09.2023
Потребитель консоли Kafka не использует тему
У нас есть сервер, который обрабатывает создание и потребление сообщений. У нас есть 4 ноутбука, все макинтоши с конфлюэнтным интерфейсом работают с одной и той же командной строкой ...
./kafka-avro-console-consumer --from-begin...
515 просмотров
schedule
22.03.2022
Как передать параметры для конкретного реестра схемы при использовании Kafka Avro Console Consumer?
Я пытаюсь использовать Confluent kafka-avro-console-consumer , но как передать ему параметры для реестра схемы?
9046 просмотров
schedule
19.07.2023
Как сгенерировать pojo из записи kafka avro?
У меня есть класс User, и я разделяю его как avro (используя сериализатор Confluent avro и реестр схем) и публикую его в теме Kafka. Я заставил потребителя печатать данные на консоль, и он отлично работает. Сейчас я пытаюсь создать исходный объект...
7212 просмотров
schedule
18.04.2022
Spring Embedded Kafka + Mock Schema Registry: схема журнала изменений хранилища состояний не зарегистрирована
Я создаю интеграционный тест для нашей системы kafka, используя Spring Встроенный брокер Kafka с MockSchemaRegistryClient. Я создаю тест для одной из наших топологий Stream, построенный с использованием Streams API (KStreamBuilder). В этой...
2943 просмотров
schedule
12.04.2022
Добавить новую схему / тему в реестр схем в формате файла Kafka Avro
Я пытаюсь запустить схему в реестр схем с помощью явной команды curl.
curl -X POST -H "Content-Type: application/vnd.schemaregistry.v1+json" --data '{"schema" : {"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'...
1663 просмотров
schedule
01.04.2022
Confluent 3.3 не может подключиться к реестру схемы локально с помощью kafka-avro-console-продюсер
Проведение простого эксперимента в командной строке после загрузки конфлюентного открытого исходного кода 3.3:
confluent start - запускает все службы без видимых ошибок:
confluent-3.3.0% confluent start
Starting zookeeper
zookeeper is [UP]...
707 просмотров
schedule
12.03.2022
LoggingMessageFormatter с kafka-avro-console-consumer
Я пытаюсь напечатать сообщения avro в теме kafka, используя kafka-avro-console-consumer в формате log4j.
Для этого я использую следующую команду kafka-avro-console-consumer:
bin/kafka-avro-console-consumer --bootstrap-server localhost:9092...
606 просмотров
schedule
14.05.2023
Несколько типов сообщений в одной теме Kafka с Avro
У меня есть приложение с источником событий, созданное поверх Kafka. В настоящее время у меня есть одна тема, в которой есть несколько типов сообщений. Все сериализованы / десериализованы с помощью JSON.
Реестр схемы из confluent выглядит как...
5255 просмотров
schedule
07.05.2022
Невозможно отправить данные GenericRecord из Kafka Producer в формате AVRO
Используя confluent-oss-5.0.0-2.11 Мой код Kafka Producer :
public class AvroProducer {
public static void main(String[] args) throws ExecutionException, InterruptedException {
Properties props = new Properties();...
2153 просмотров
schedule
21.10.2022
В KafkaProducer.send (сообщение) я получаю исключение Ошибка сериализации сообщения Avro
Я использую Avro для создания класса. Вот мой код у производителя выглядит так:
TweetInfo tweetInfo = TweetInfo.newBuilder()
.setTweetId(status.getId())
.setTweetCreatedAt(status.getCreatedAt().toString())...
1361 просмотров
schedule
22.01.2023
Kafka Streams – SerializationException: неизвестный магический байт
Я пытаюсь создать приложение Kafka Streams, которое обрабатывает записи Avro, но получаю следующую ошибку:
Exception in thread "streams-application-c8031218-8de9-4d55-a5d0-81c30051a829-StreamThread-1"...
16550 просмотров
schedule
23.03.2023
Kafka Connect: как я могу использовать AvroConverter без реестра схем?
В наших реквизитах, распределенных по рабочим, у нас есть:
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=<dev-schema-url>
Мы заметили, что при использовании реестра схем производительность...
1000 просмотров
schedule
22.04.2023
Обновление схемы потребителя во время десериализации
В настоящее время я изучаю систему схемы Avro, и, насколько я понимаю, поток обновления схемы таков:
1) Клиент изменяет схему (возможно, добавляя новое поле со значением по умолчанию для обратной совместимости) и отправляет данные в Kafka,...
154 просмотров
schedule
22.11.2022
Как использовать верблюд-авро-потребитель и производитель?
Я не вижу примера использования компонента camel-avro для создания и использования сообщений kafka avro? В настоящее время мой верблюжий маршрут таков. что его следует изменить, чтобы он работал со схемой-реестром и другими подобными реквизитами,...
2787 просмотров
schedule
25.04.2022
Почему кафка-авро-консоль-производитель не соблюдает значение поля по умолчанию?
Хотя значение по умолчанию определено для поля, kafka-avro-console-producer полностью игнорирует его:
$ kafka-avro-console-producer --broker-list localhost:9092 --topic test-avro \
--property schema.registry.url=http://localhost:8081 --property...
1820 просмотров
schedule
28.10.2022
изменение названия темы кафка без изменения потребителей
Мы планируем удалить версии из названий тем kafka. В настоящее время версия схемы соответствующего сообщения является частью названия темы. Но в будущем у нас будет большое количество небольших вариантов сообщения, и мы не хотим создавать слишком...
133 просмотров
schedule
21.10.2022
Исключение при десериализации данных avro с помощью ConfluentSchemaRegistry?
Я новичок в моргании и Кафке. Я пытаюсь десериализовать данные avro с помощью реестра Confluent Schema. Я уже установил flink и Kafka на машину ec2. Кроме того, перед запуском кода была создана «тестовая» тема.
Путь к коду:...
670 просмотров
schedule
20.02.2022
Как заставить планировщик Vertica-Kafka работать с реестром схемы Avro?
как настроить планировщик Vertica для использования данных Avro из Kafka
Привет, я пытаюсь использовать Vertica Scheduler для использования данных Avro из темы Kafka. Я написал небольшой код Java, который создает простые объекты в виде данных Avro...
355 просмотров
schedule
18.10.2022
