Не удалось создать кластер Azure Databricks из-за недоступных экземпляров

Если проблема носит временный характер, это может быть вызвано отказом драйвера виртуальной машины или сетевой проблемой, поскольку Azure Databricks смог запустить кластер, но потерял соединение с экземпляром, на котором размещен драйвер Spark, ссылаясь на это. Вы можете попробовать удалить его и снова создать кластер.

Если проблема не исчезнет, ​​это может произойти, если у вас есть Рабочее пространство Azure Databricks развернуто в вашей собственной виртуальной сети. Если виртуальная сеть, в которой развернута рабочая область, уже является пиринговой или имеет подключение ExpressRoute к локальным ресурсам, виртуальная сеть не может установить ssh подключение к узлу кластера, когда Azure Databricks пытается создать кластер. Вы можете добавить определяемый пользователем маршрут (UDR), чтобы предоставить плоскости управления Azure Databricks ssh доступ к экземплярам кластера.

Подробные инструкции UDR см. На странице Шаг 3. Создайте определяемые пользователем маршруты и свяжите их с подсетями виртуальной сети Azure Databricks. Дополнительные сведения об устранении неполадок, связанных с виртуальной сетью, см. В разделе Устранение неполадок

Надеюсь, это может вам помочь.

Проблема: экземпляры недоступны: ресурсы не были доступны через SSH.

Возможная причина: трафик от уровня управления к рабочим заблокирован. Если вы выполняете развертывание в существующей виртуальной сети, подключенной к вашей локальной сети, проверьте свою настройку, используя информацию, предоставленную в Подключите рабочую область Azure Databricks к локальной сети.

Ссылка: Azure Databricks - устранение неполадок

Надеюсь это поможет.