Как рассчитать метрики оценки для данных обучения в API обнаружения объектов TensorFlow?

Я уже довольно давно использую api детектора объектов, поэтому обучение моделей и их использование для вывода - все в порядке. К сожалению, при использовании TensorBoard для визуализации метрик (таких как mAP, AR, потеря классификации / локализации) мы видим только эти метрики в наборе для проверки. Я хотел бы рассчитать вышеупомянутые показатели также во время обучения, чтобы мы могли сравнивать показатели обучения / проверки на Tensorboard.

изменить: я наткнулся на этот пост, который касается той же проблемы как проверить производительность обучения / оценки в tenorflow object_detection

У кого-нибудь есть указание на то, как этого добиться?


python-3.x object-detection-api tensorflow tensorboard
person Kishintai    schedule 18.01.2019    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Вы можете оценить свою модель на обучающих данных, добавив аргументы --eval_training_data=True --sample_1_of_n_eval_on_train_examples=10 к аргументам model_main. Таким образом, вы даете указание ему выполнить оценку обучающих данных и выбираете, насколько разбавить обучающие данные, отправленные на оценку, поскольку обычно объем обучающих данных очень велик. Дело в том, что я не думаю, что в настоящее время возможно оценить и то, и другое при обучении на данных проверки, но я не думаю, что это слишком плохо, поскольку обычно оценка данных обучения предназначена только для проверки работоспособности, а не для фактической непрерывной оценки модель.

person netanel-sam    schedule 23.01.2019
comment
Спасибо за разъяснения! Что касается флага eval_on_training_data, указано, что он используется только в режиме eval и должен быть предоставлен chackpoint_dir. Chackpoint_dir совпадает с model_dir? Кроме того, не даст ли оценка обучающих данных подсказки о переоборудованном детекторе объектов? - person Kishintai; 23.01.2019
comment
checkpoint_dir - это каталог, в котором у вас есть контрольная точка, а model_dir - это каталог, в который вы хотите записывать выходные данные. Если бы у вас был тренировочный сеанс, его model_dir было бы checkpoint_dir для сеанса оценки, поскольку именно там находятся контрольные точки. Вы можете оставить model_dir без изменений, если хотите. Оценка только на тренировочных данных не говорит вам, переобучены ли вы, только если вы также оцениваете на другом наборе, то есть на проверочном наборе, поскольку переобучение означает, что вы очень хорошо работаете с обучающими данными, но плохо обобщаете на другие примеры. - person netanel-sam; 27.01.2019