Я сохраняю фрейм данных искры в таблицу кустов. Фрейм данных spark представляет собой вложенную структуру данных json. Я могу сохранить фрейм данных в виде файлов, но он терпит неудачу в тот момент, когда он создает поверх него таблицу кустов, говорящую org.apache.spark.SparkException: Cannot recognize hive type string
Я не могу сначала создать схему таблицы куста, а затем вставить в нее, поскольку фрейм данных состоит из пары сотен вложенных столбцов.
Поэтому я сохраняю его как:
df.write.partitionBy("dt","file_dt").saveAsTable("df")
Я не могу отладить, в чем проблема.
