Невозможно отправить данные GenericRecord из Kafka Producer в формате AVRO

Используя confluent-oss-5.0.0-2.11 Мой код Kafka Producer:

public class AvroProducer {
 public static void main(String[] args) throws ExecutionException, InterruptedException {

        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("ZOOKEEPER_HOST", "localhost");
        //props.put("acks", "all");
        props.put("retries", 0);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "io.confluent.kafka.serializers.KafkaAvroSerializer");
        props.put("schema.registry.url", "http://localhost:8081");
        String topic = "confluent-new";

        Schema.Parser parser = new Schema.Parser();
// I will get below schema string from SCHEMA REGISTRY
        Schema schema = parser.parse("{\"type\":\"record\",\"name\":\"User\",\"fields\":[{\"name\":\"userName\",\"type\":\"string\"},{\"name\":\"uID\",\"type\":\"string\"},{\"name\":\"company\",\"type\":\"string\",\"default\":\"ABC\"},{\"name\":\"age\",\"type\":\"int\",\"default\":0},{\"name\":\"location\",\"type\":\"string\",\"default\":\"Noida\"}]}");

        Producer<String, GenericRecord> producer = new KafkaProducer<String, GenericRecord>(props);
        GenericRecord record = new GenericData.Record(schema);
        record.put("uID", "06080000");
        record.put("userName", "User data10");
        record.put("company", "User data10");
        record.put("age", 12);
        record.put("location", "User data10");

        ProducerRecord<String, GenericRecord> recordData = new ProducerRecord<String, GenericRecord>(topic, "ip", record);
        producer.send(recordData);

        System.out.println("Message Sent");
    }

}

Похоже, код производителя в порядке и может видеть отправленное на консоли.

Код Kafka Consumer:

public class AvroConsumer {
public static void main(String[] args) throws ExecutionException, InterruptedException {

    Properties props = new Properties();
    props.put("bootstrap.servers", "localhost:9092");
    props.put("ZOOKEEPER_HOST", "localhost");
    props.put("acks", "all");
    props.put("retries", 0);
    props.put("group.id", "consumer1");
    props.put("auto.offset.reset", "latest");
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "io.confluent.kafka.serializers.KafkaAvroDeserializer");
    props.put("schema.registry.url", "http://localhost:8081");
    String topic = "confluent-new";

    KafkaConsumer<String, GenericRecord> consumer = new KafkaConsumer<String, GenericRecord>(props);
    consumer.subscribe(Arrays.asList(topic));
    while(true){
        ConsumerRecords<String, GenericRecord> recs = consumer.poll(10000);
        for (ConsumerRecord<String, GenericRecord> rec : recs) {
            System.out.printf("{AvroUtilsConsumerUser}: Recieved [key= %s, value= %s]\n", rec.key(), rec.value());
        }
    }
}

}

Я не вижу сообщение (данные) на стороне потребителя Kafka. Также я проверил количество / статус смещения для темы confluent_new, и она не обновляется. Похоже, в коде производителя возникла проблема. Любой указатель был бы полезен.

Тем временем ниже работает код производителя, а здесь POJO, то есть Пользователь - это POJO, сгенерированный avro-инструментами.

public class AvroProducer {
 public static void main(String[] args) throws ExecutionException, InterruptedException {

        Properties props = new Properties();
        kafkaParams.put("auto.offset.reset", "smallest");
        kafkaParams.put("ZOOKEEPER_HOST", "bihdp01");*/
        props.put("bootstrap.servers", "localhost:9092");
        props.put("ZOOKEEPER_HOST", "localhost");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "io.confluent.kafka.serializers.KafkaAvroSerializer");
        props.put("schema.registry.url", "http://localhost:8081");
        String topic = "confluent-new";

        Producer<String, User> producer = new KafkaProducer<String, User>(props);
        User user = new User();
        user.setUID("0908");
        user.setUserName("User data10");
        user.setCompany("HCL");
        user.setAge(20);
        user.setLocation("Noida");
        ProducerRecord<String, User> record = new ProducerRecord<String, User>(topic, (String) user.getUID(), user);
        producer.send(record).get();
        System.out.println("Sent");
    }

}

P.S. Мое требование - отправить полученные данные JSON из исходной темы KAFKA в целевую тему KAFKA в формате AVRO. Сначала я делаю вывод о схеме AVRO из полученных данных JSON с помощью AVRO4S и регистрирую схему в SCHEMA REGISTRY. Далее следует извлечь данные из полученного JSON, заполнить экземпляр GenericRecord и отправить этот экземпляр GenericRecord в тему Kafka с помощью KafkaAvroSerializer. На стороне потребителя я буду использовать KafkaAvroDeserializer для десериализации полученных данных AVRO.


person tryingSpark    schedule 09.08.2018    source источник
comment
kafkaParams.put("auto.offset.reset", "smallest"); должен быть самым ранним.   -  person dbustosp    schedule 09.08.2018
comment
Производитель будет буферизировать локально на небольшой период. Вы должны producer.close() перед завершением работы вашего приложения убедиться, что данные отправлены.   -  person Hitobat    schedule 10.08.2018
comment
Точно @Hitobat я тоже выяснил. Большое спасибо, дружище.   -  person tryingSpark    schedule 11.08.2018
comment
ZOOKEEPER_HOST не требуется и в любом случае не является допустимым свойством Kafka   -  person OneCricketeer    schedule 12.08.2018
comment
@ cricket_007 Да. Я почистил код сейчас. Большое спасибо.   -  person tryingSpark    schedule 12.08.2018


Ответы (2)


Пожалуйста, попробуйте добавить get () в первый производитель

producer.send(recordData).get();
person sparkingmyself    schedule 10.08.2018

В процессе поиска решения я попробовал Thread.sleep (1000), и это устранило мою проблему. Также я попробовал продюсер.send (запись) .get (), и это тоже устранило проблему. Пройдя через документацию, я наткнулся на фрагмент кода ниже и это намекает на решение.

// When you're finished producing records, you can 
   flush the producer to ensure it has all been `written` to Kafka and
   // then close the producer to free its resources.

finally {
  producer.flush();
  producer.close();
  }

Это лучший способ решить эту проблему.

person tryingSpark    schedule 12.08.2018