Запустить проект mlflow на нескольких удаленных серверах?

Можно ли MLflow использовать для отправки проектов на несколько удаленных серверов? (Не aws, azure и т. Д.) С локального сервера отслеживания?
У меня есть следующий сценарий:
Несколько серверов, где я хотел бы разослать mlflow проект всем с разными параметрами и позволить им "сообщить" текущему серверу отслеживания:

for ip in servers_ips:
    start_remote_mlflow(entry_point=GITHUBPATH,tracking_server=this_server_ip,hparams)

Я вижу, что можно отправлять mlflow проектов в aws или azure, указав IP-адрес или удаленную машину. Можно ли это сделать и с настольными компьютерами?


person DsCpp    schedule 23.05.2020    source источник


Ответы (1)


Нет, MLflow - это централизованный реестр и отслеживание, и он не отвечает за распределенное планирование. Для этого вы можете использовать другие фреймворки и инструменты, такие как Dask или Luigi.

person Boris Modylevsky    schedule 05.05.2021