Cloudera 5.6: Паркет не поддерживает дату. См. HIVE-6384

В настоящее время я использую Cloudera 5.6, пытаясь создать таблицу формата паркета в таблице кустов на основе другой таблицы, но сталкиваюсь с ошибкой.

create table sfdc_opportunities_sandbox_parquet like 
sfdc_opportunities_sandbox STORED AS PARQUET

Сообщение об ошибке

Parquet does not support date. See HIVE-6384

Я читал, что в улье 1.2 есть решение этой проблемы, но Cloudera 5.6 и 5.7 не поставляются с ульем 1.2. Кто-нибудь нашел способ обойти эту проблему?


parquet hive cloudera
person pitchblack408    schedule 20.05.2016    source источник
comment
Я думаю, к тому времени вы поняли? Если вы можете использовать искровой фрейм данных, проблем нет, но мне самому нужно использовать Hive в определенных сценариях, и я не нашел обходного пути, кроме написания типов long и последующего преобразования в тип view.   -  person lrnzcig    schedule 22.11.2016
comment
Сделайте столбец даты либо строкой, либо отметкой времени. Других вариантов думаю нет.   -  person Manu Gupta    schedule 15.09.2017
comment
Я использую временную метку уже год.   -  person pitchblack408    schedule 13.01.2018
comment
Предположим, вам все еще приходится использовать timestamp?   -  person Josh Laird    schedule 17.05.2019
comment
Мы используем более новую версию CDH, но мы не изменили процессы ETL, поэтому да, мы по-прежнему используем отметку времени. Но мы потихоньку уходим от CDH   -  person pitchblack408    schedule 17.05.2019

Ответы (1)


arrow_upward
7
arrow_downward

За исключением использования другого типа данных, например TIMESTAMP. или другой формат хранения, такой как ORC, возможно, нет другого пути, если существует зависимость от используемой версии Hive и формата хранения файлов Parquet.

Согласно информации об упаковке и архиве CDH 5 компании Clouderas, весь ветка 5 поставляется с Apache Parquet версии 1.5.0 и Apache Hive в версии 1.1.0.

Дата была реализована в ParquetSerde с HIVE-8119 и начиная с Hive 1.2.

person U880D    schedule 02.01.2018
comment
Да, я использую отметку времени как обходной путь уже год. - person pitchblack408; 13.01.2018