Я пытаюсь настроить интеграцию GitHub для Databricks.
У нас есть сотни записных книжек, и было бы утомительно добавлять каждую записную книжку вручную в репозиторий.
Есть ли способ автоматически зафиксировать и отправить все записные книжки из блоков данных в репозиторий?
Так как 3 месяца никто не ответил, поставлю свое решение.
В директории /Shared/ в databricks у нас есть записные книжки, которые должны быть синхронизированы с репозиторием под notebooks/Shared/.
Я запускаю этот скрипт на регулярной основе, таким образом поддерживая все записные книжки в актуальном состоянии в репозитории.
databricks workspace export_dir /Shared ./notebooks/Shared -o
git add --all
git commit -m "shared notebooks updated"
git push
Флаг -o предназначен для замены существующих записных книжек последней версией.
Дополнительная информация здесь: https://databricks.com/blog/2017/11/08/introduction-command-line-interface-for-databricks-developers.html
Обратите внимание: сначала вам нужно установить и настроить databricks-cli на вашем компьютере: https://docs.databricks.com/user-guide/dev-tools/databricks-cli.html#set-up-the-cli
