Как использовать python ray для независимых компьютеров (каждый из которых имеет свое имя пользователя и пароль) через Интернет (распределенное вычисление с IP-адресом)?

Я знаю основное использование ray в одном головном узле (компьютер, на котором работает пользователь) и во многих рабочих узлах (другие компьютеры). Это можно сделать, заполнив файл yaml для новейшего луча 0.8.

Однако теперь предположим, что у меня есть три независимых компьютера, каждый из которых имеет независимый IP-адрес, имя пользователя и пароль. Я хотел бы подключиться к одному из них и использовать его как головной узел, а два других — как рабочие узлы. Но я не могу найти никаких инструкций по документации луча для этого.

Кто-нибудь знает, как заставить это работать на ray?


person ZHANG Juenjie    schedule 17.06.2019    source источник


Ответы (1)


Как вы можете использовать Ray на разных машинах, которые уже настроены с IP-адресами и именами пользователей, описано здесь:

https://ray.readthedocs.io/en/latest/using-ray-on-a-cluster.html

Таким образом, в основном вам нужно запустить ray start на всех узлах с разными параметрами, должен ли узел быть головным узлом или рабочим узлом.

В этом сценарии также можно использовать автомасштабирование Ray, как это сделать, описано здесь: https://ray.readthedocs.io/en/latest/autoscaling.html#quick-start-private-кластер

Дайте нам знать, если у вас есть еще вопросы!

person Philipp Moritz    schedule 18.06.2019
comment
Ссылка битая) - person Jumabek Alikhanov; 22.06.2021