Я пытаюсь выполнить настройку параметров моей модели обучения в ярком вычислительном кластере, что требует большого количества заданий из-за количества настраиваемых параметров. Для каждой комбинации параметров требуется около 162 заданий qsub. И есть около 50 комбинаций параметров, которые мне нужно проверить. Это эквивалентно запуску около 162*50 ~= 8100 заданий. Однако существует ограничение на 350 заданий qsub на учетную запись в кластере, который я использую. Поэтому мне было интересно, есть ли способ в сценариях bash проверить количество активных в настоящее время заданий qsub, чтобы я мог эффективно автоматизировать процесс инициирования новых заданий.
Ограничение количества заданий qsub ниже лимита заданий
comment
почему бы вам не попробовать команды qstat и qdel?
- person Sharif Mamun schedule 05.05.2014
comment
Вы пробовали qstat | grep ‹ваше имя пользователя› | туалет -л?
- person dbeer schedule 05.05.2014
Ответы (1)
Вы уже пробовали работать с массивами заданий? Вы не указали планировщик, который вы используете (PBS, OGE, ...), но должен быть способ определить массив заданий и, во всем массиве, ограничение на количество задач, реально выполняемых одновременно. . В PBS
#PBS -t 1-1000%100
создает массив из одной тысячи заданий, ограничивая до ста количество задач, эффективно выполняемых одновременно. Если вы действительно хотите найти способ проверки активных заданий для автоматизации процесса инициирования новых заданий, выходные данные qstat должны помочь вам, но это должно быть обязанностью вашего планировщика, а не вашей.
person
deggio
schedule
05.05.2014
