Невозможно работать с данными Parquet, имеющими столбцы с косой чертой в Spark SQL

У меня есть файл паркета, я могу загрузить файл паркета в Spark SQL. Но в файлах Parquet есть много столбцов с косой чертой, что вызывает проблему, когда я пытаюсь получить данные из таблицы, используя эти столбцы. например имена столбцов: abc/def/efg/hij

parqfile.registerTempTable("parquetTable")
val result=sqlContext.sql("select abc/def/efg/hij from parquetTable")

выдает ошибку ниже.

org.apache.spark.sql.AnalysisException: cannot resolve 'abc' given input columns

parquet dataframe apache-spark-sql scala
person nilesh1212    schedule 04.03.2016    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Косая черта является зарезервированным символом, вам нужно будет указать имя столбца в SELECT, используя обратные кавычки, как показано ниже:

val result=sqlContext.sql("select `abc/def/efg/hij` from parquetTable")
person Tzach Zohar    schedule 04.03.2016