SerializationException объекта даты Avro (логический тип даты)

У меня есть издатель, который принимает класс GenericRecord.

@Override
public Future<RecordMetadata> publish(GenericRecord genericRecord) {
    Future<RecordMetadata> recordMetadataFuture =
            getPublisher().send(new ProducerRecord<>(producerConfiguration.getProperties()
                    .getProperty(ProducerConfiguration.PROPERTY_NAME_TOPIC), "sample.key",genericRecord));

    return recordMetadataFuture;
}

private KafkaProducer<String, GenericRecord> getPublisher() {
    return new KafkaProducer<>(producerConfiguration.getProperties());
}

И у меня есть следующая схема avro:

{
"type" : "record",
"name" : "SampleDate",
"namespace": "com.sample.data.generated.avro",
"doc" : "sample date",
"fields" :  [
    {
        "name" : "sampleDate",
        "type" : {
            "type" : "int",
            "logicalType" : "date"
        }
    }
  ]
}

Я построил свой собственный сериализатор:

Сериализатор даты:

@Component
public class SampleDateSerializer implements Serializer<GenericRecord> {

private AvroGenericSerializer serializer;

@Override
public void configure(Map<String, ?> configs, boolean isKey) {
    serializer = new AvroGenericSerializer(SampleDate.SCHEMA$);
}

@Override
public byte[] serialize(String topic, GenericRecord data) {
    return serializer.serialize(data);
}

@Override
public void close() {

}

Общий сериализатор:

public class AvroGenericSerializer {
private EncoderFactory avroEncoderFactory;
private DecoderFactory avroDecoderFactory;
private GenericDatumWriter<GenericRecord> avroWriter;
private GenericDatumReader<GenericRecord> avroReader;

public AvroGenericSerializer(Schema schema) {
    avroEncoderFactory = EncoderFactory.get();
    avroDecoderFactory = DecoderFactory.get();
    avroWriter = new GenericDatumWriter<>(schema);
    avroReader = new GenericDatumReader<>(schema);
}

public byte[] serialize(GenericRecord data) {
    final ByteArrayOutputStream stream = new ByteArrayOutputStream();
    final BinaryEncoder binaryEncoder = avroEncoderFactory.binaryEncoder(stream, null);
    try {
        avroWriter.write(data, binaryEncoder);
        binaryEncoder.flush();
        stream.close();
        return stream.toByteArray();
    } catch (IOException e) {
        throw new RuntimeException("Can't serialize Avro object", e);
    }
}

public GenericRecord deserialize(byte[] bytes) {
    try {
        return avroReader.read(null, avroDecoderFactory.binaryDecoder(bytes, null));
    } catch (IOException e) {
        throw new RuntimeException("Can't deserialize Avro object", e);
    }
 }
}

Однако при тестировании моего класса издателя я сталкиваюсь со следующей ошибкой:

org.apache.kafka.common.errors.SerializationException: Can't convert value of class com.sample.data.generated.avro.SampleDate to class com.sample.message.serialize.SampleDateSerializer specified in value.serializer

При отладке кода я обнаружил, что

GenericDatumWriter.write()...

метод возвращает null при вызове

Conversion conversion = this.getData().getConversionByClass(datum.getClass(), logicalType);

который вызывается из

    org.apache.avro.generic.GenericData

    public <T> Conversion<T> getConversionByClass(Class<T> datumClass, LogicalType logicalType) {
    Map conversions = (Map)this.conversionsByClass.get(datumClass);
    return conversions != null?(Conversion)conversions.get(logicalType.getName()):null;
}

В связи с этим, есть ли способ заполнить

 GenericData.conversionsByClass 

Карта, чтобы он мог вернуть правильный преобразователь для использования для данного

 date logicalType?

person Jown    schedule 14.11.2016    source источник


Ответы (1)


Я решил это, передав объект GenericData в свой GenericDatumWriter.

Мой универсальный сериализатор теперь выглядит так:

    public AvroGenericSerializer(Schema schema) {
    avroEncoderFactory = EncoderFactory.get();
    avroDecoderFactory = DecoderFactory.get();
    final GenericData genericData = new GenericData();
    genericData.addLogicalTypeConversion(new TimeConversions.DateConversion());
    avroWriter = new GenericDatumWriter<>(schema, genericData);
    avroReader = new GenericDatumReader<>(schema);
}
person Jown    schedule 15.11.2016