Google Cloud ML Engine передает несколько путей к файлам в качестве аргументов

Я пытаюсь запустить задание в Google Cloud ML Engine и не могу передать несколько путей к файлам в качестве аргументов синтаксическому анализатору. Вот что я пишу в терминале:

JOB_NAME=my_job_name
BUCKET_NAME=my_bucket_name
OUTPUT_PATH=gs://$BUCKET_NAME/$JOB_NAME
DATA_PATH=gs://$BUCKET_NAME/my_data_directory
REGION=us-east1

gcloud ml-engine jobs submit training $JOB_NAME \
    --job-dir $OUTPUT_PATH \
    --runtime-version 1.2 \
    --module-name trainer.task \
    --package-path trainer/ \
    --region $REGION \
    -- \
    --file-path "${DATA_PATH}/*" \
    --num-epochs 10

Если my_data_directory содержит несколько файлов, которые я позже хочу прочитать, проблема в том, что --file-path содержит только ['gs://my_bucket_name/my_data_directory'], а не список файлов в указанном каталоге.

Как это исправить?

Спасибо заранее.


tensorflow google-cloud-ml google-cloud-ml-engine
person Miguel Monteiro    schedule 14.07.2017    source источник

Ответы (1)


arrow_upward
-1
arrow_downward

Поскольку аргументы, которые вы передаете после строки -- \, будут аргументами пользователя, то, как программа обрабатывает эти аргументы, во многом будет зависеть от определенного вами тренера. Я бы вернулся и изменил программу обучения, заставив ее либо по-другому обрабатывать каталог, либо использовать несколько путей, например:

gcloud ml-engine jobs submit training $JOB_NAME \
    --job-dir $OUTPUT_PATH \
    --runtime-version 1.2 \
    --module-name trainer.task \
    --package-path trainer/ \
    --region $REGION \
    --scale-tier STANDARD_1 \
    -- \
    --train-files $TRAIN_DATA \
    --eval-files $EVAL_DATA \
    --train-steps 1000 \
    --verbosity DEBUG  \
    --eval-steps 100

Некоторые ссылки, которые будут полезны для разработки собственного тренера: [1] [2]

person Yanfeng Liu    schedule 14.07.2017
comment
Да, в итоге я передал каталог файлов, а затем получил файлы из своей программы. Это только из примера примера я пришел к выводу, что могу передать несколько имен файлов в одном пользовательском аргументе, хотя в примере примера они просто используют одно имя файла. - person Miguel Monteiro; 14.07.2017