У меня есть таблица в дельте озера со следующими tblproperties: 
Я пытаюсь получить доступ к версии, которая была там в прошлом месяце, 322.
Когда я смотрю на историю, я вижу ее: 
Но когда я пытаюсь получить к нему доступ с помощью такой команды:
spark.read.format("delta").option("versionAsOf", 322).load(path)
Я получаю такую ошибку:
AnalysisException: Cannot time travel Delta table to version 322. Available versions: [330, 341].;
Я не могу понять проблему. Я использую Azure Databricks.
Я не уверен, что разбираюсь в этой ошибке. В DeltaLake есть открытый запрос на вытягивание, который может решить проблему: https://github.com/delta-io/delta/pull/627.
До этого человек из Databricks предложил мне обходной путь: установить для delta.checkpointRetentionDuration значение X дней. Это позволит вашим контрольным точкам продержаться дольше, чтобы иметь доступ к более старым версиям.
Затем вы должны запустить что-то подобное в своей дельта-таблице:
spark.sql( f"""
ALTER TABLE delta.`path`
SET TBLPROPERTIES (
delta.logRetentionDuration = 'interval X days',
delta.deletedFileRetentionDuration = 'interval X days',
delta.checkpointRetentionDuration = 'X days'
)
"""
)
Ваши версии будут храниться до X дней.
