У меня есть записная книжка, созданная с помощью блоков данных, и я хотел бы выполнять это задание по запросу из AWS Lambda. То есть, когда файл поступает в мою корзину S3, я хотел бы запустить задание записной книжки Databricks для моей цели ETL.
В кластере блоков данных параметр autotermination_minutes установлен на 60 минут. Иногда моя работа не выполняется, поскольку кластер автоматически завершает работу, если он бездействует в течение 60 минут. Есть ли способ перезапустить кластер из AWS Lambda перед выполнением задания?
Спасибо
