Повторное обучение модели обнаружения объектов - Убийца нехватки памяти (OOM) - Google Coral

Я пытался переобучить модель обнаружения объектов для ускорителя кораллов Google по ссылке ниже.

https://coral.ai/docs/edgetpu/retrain-detection/#prerequisites < / а>

Хост-система основана на Linux Mint со средой докеров.

  • Процессор: Intel (R) Core (TM) i3-5005U CPU @ 2,00 ГГц
  • Видеокарта: Карта: Intel HD Graphics 5500
  • ОС: Linux Mint 19 Tara
  • Объем памяти: 8 г

Но после начала учебной работы

root @ beaa5d65a1d5: / tensorflow / models / research # ./retrain_detection_model.sh --num_training_steps $ {NUM_TRAINING_STEPS} --num_eval_steps $ {NUM_EVAL_STEPS}

Процесс убит OOM killer

./retrain_detection_model.sh: строка 45: 86 убито
python object_detection / model_main.py --pipeline_config_path = "$ {CKPT_DIR} /pipeline.config" --model_dir = "$ {TRAIN_DIR} "--num_train_steps =" $ {num_training_steps} "--num_eval_steps =" $ {num_eval_steps} "

Любая помощь приветствуется!


tensorflow google-coral
person Abhilash V R    schedule 11.04.2020    source источник
comment
есть ли вариант --batch_size? Уменьшение batch_size требует меньше памяти, но замедляет обучение. Вы получаете OOM с --batch_size=1?   -  person Frederik Bode    schedule 11.04.2020
comment
Извините, я не вижу аргумента --batch_size в ./retrain_detection_model.sh. Я новичок в этом, поэтому не уверен, что это доступно для изменения в каком-то другом файле.   -  person Abhilash V R    schedule 11.04.2020

Ответы (1)


arrow_upward
1
arrow_downward

Это проблема нехватки памяти из-за ограничений аппаратного обеспечения. Две вещи, которые вы можете сделать, - это добавить больше ОЗУ или подкачки (используя хранилище в качестве ОЗУ). Хотя переход к последнему будет очень медленным.

person Nam Vu    schedule 13.04.2020
comment
Спасибо, Нам Ву, я видел ниже решение из другого stackoverflow, но я не знаю, как применить в текущем контексте, где я могу редактировать, любую помощь На самом деле полное использование памяти вызвано data_augmentation_options ssd_random_crop, поэтому вы можете удалить это вариант и установите размер партии 8 или меньше, т.е. 2,4. Когда я установил размер партии равным 1, я также столкнулся с некоторыми проблемами, вызванными потерей наночастиц. stackoverflow.com/questions/45150773 / - person Abhilash V R; 13.04.2020
comment
Привет, я ответил по электронной почте, но краткое изложение здесь для справки: если вы хотите изменить какой-либо из параметров, вы должны войти в образ докера и изменить эти параметры в файле pipeline.config. Этот файл должен находиться в каталоге / tensorflow / models / research / configs, названном в честь выбранной вами модели. Затем вы можете попробовать изменить параметр batch_size и посмотреть, поможет ли это. Изменение этих параметров означает, что вы захотите обучить модель более последовательным, а не параллельным способом. - person Nam Vu; 14.04.2020
comment
Спасибо, Нам Ву, цените ваши усилия. - person Abhilash V R; 14.04.2020
comment
Спасибо, Нам Ву, цените ваши усилия. Одно предложение: я буду полезен новичкам, если вы сможете обновить документацию службы поддержки Google Coral с соответствующими спецификациями хост-машины. - person Abhilash V R; 14.04.2020
comment
Привет, сделаю, мы на самом деле сейчас претерпеваем множество изменений в нашей документации. Я добавлю это в список. - person Nam Vu; 14.04.2020
comment
Могу ли я перенастроить модель обнаружения объектов для кораллов с помощью Google Colab? - person Abhilash V R; 16.04.2020
comment
Обязательно подойдет, хотя у нас пока нет установленных сроков! - person Nam Vu; 16.04.2020