Databricks Spark-Redshift: ключи сортировки не работают

Я пытаюсь добавить ключи сортировки из кода scala, следуя инструкциям здесь: https://github.com/databricks/spark-redshift

df.write
  .format(formatRS)
  .option("url", connString)
  .option("jdbcdriver", jdbcDriverRS)
  .option("dbtable", table)
  .option("tempdir", tempDirRS + table)
  .option("usestagingtable", "true")
  .option("diststyle", "KEY")
  .option("distkey", "id")
  .option("sortkeyspec", "INTERLEAVED SORTKEY (id,timestamp)")
  .mode(mode)
  .save()

Ключи сортировки реализованы неправильно, потому что, когда я проверяю информацию о таблице:

ключ сортировки = ПРОМЕЖУТОЧНЫЙˇ

Мне нужен правильный способ добавить ключи сортировки.


apache-spark databricks scala amazon-redshift
person Obadah Meslmani    schedule 26.05.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

В реализации нет ничего плохого, ошибка в возвращаемом "проверочном запросе"

ключ сортировки = чередующийсяˇ

что достаточно сбивает с толку, чтобы поверить, что происходит что-то не так.

поэтому, если вам нужно проверить ключи сортировки с чередованием, вы должны запустить этот запрос:

select tbl as tbl_id, stv_tbl_perm.name as table_name, 
col, interleaved_skew, last_reindex
from svv_interleaved_columns, stv_tbl_perm
where svv_interleaved_columns.tbl = stv_tbl_perm.id
and interleaved_skew is not null;
person Obadah Meslmani    schedule 29.05.2017