Как мы можем визуализировать (через панели мониторинга) статус задания Dataproc в Google Cloud Platform?
Мы хотим проверять, выполняются задания или нет, в дополнение к их статусу, например, выполняется, задержка, заблокировано. Вдобавок к этому мы также хотим установить оповещения (Stackdriver Alerting).
На этой странице представлены все показатели, доступные в Stackdriver.
https://cloud.google.com/monitoring/api/metrics_gcp#gcp-dataproc
Вы можете использовать cluster/job/submitted_count, cluster/job/failed_count и cluster/job/running_count для создания панели мониторинга и показателей.
Кроме того, вы можете использовать cluster/job/completion_time, чтобы предупреждать о длительно выполняемых заданиях, и cluster/job/duration, чтобы проверять, находятся ли задания в очереди в статусе PENDING в течение длительного времени.
