Я запускаю несколько записных книжек в кластере Azure Databricks Spark одновременно.
Как я могу увидеть интенсивность использования узлов кластера каждой записной книжкой \ приложением за определенный период времени?
Обе вкладки "Spark Cluster UI - Master" и "Spark UI" не предоставляли такую информацию.
Сегодня нет автоматизированной / встроенной поддержки для изоляции использования определенных записных книжек на Databricks.
При этом одним из подходов было бы использование Метрики Ganglia доступны для кластеров Databricks.
Если вы запустите оба ноутбука одновременно, будет сложно определить, какой из них отвечает за конкретное количество использования. Я бы порекомендовал полностью запустить один блокнот и отметить его использование в кластере. Затем запустите вторую записную книжку до конца и понаблюдайте за ее использованием. Затем вы можете сравнить эти два и получить базовый уровень того, как каждый из них использует ресурсы в кластере.
