Создание ML-модели, которая определяет значения карт

Это более общий вопрос об обучении ML-модели обнаружению карт.

Карты - это детская игра, 4 разных цвета, цифры и символы. Мне не нужно определять цвет, а только значение (также известное как символ) карт.

Я попытался сфотографировать на свой iPhone каждую карточку, используя RectLabel, чтобы нарисовать прямоугольники вокруг символов в верхнем левом углу (у карточек тоже есть перевернутый символ в правом нижнем углу, я не отметил их как они будут скрыты во время обнаружения). Я обрезал изображения, чтобы была видна только карта, без окружения.

Затем я загрузил свои изображения на app.roboflow.ai и позволил им творить свое волшебство (используя автоориентацию, изменение размера до 416x416, оттенки серого, автоматическую настройку контрастности, вращение, сдвиг, размытие и шум).

Это дало мне еще один набор изображений, которые я использовал для обучения своей модели с помощью CreateML от Apple.

Однако, когда я использую эту модель в своем приложении (я использую демо-версию Breakfast Finder от Apple), значения карточек не определяются — ну, иногда это работает, но только на определенном расстоянии от телефона, и метки либо вверх ногами, либо боком.

Я предполагаю, что это из-за того, что мои изображения сделаны не так, как должны быть?

Любые намеки на то, как мне нужно все это настроить, чтобы моя модель хорошо обучалась?


person Swissdude    schedule 15.08.2020    source источник


Ответы (1)


Моя ставка была бы на то, что это проблема:

Я обрезал изображения, чтобы была видна только карта, без окружения.

Вы хотите, чтобы ваши тренировочные изображения были максимально похожи на изображения, которые ваша модель увидит в дикой природе. Если он обучен только на изображениях карт без окружения, а затем вы показываете ему изображения карт с вещами вокруг них, он не будет знать, что делать.

Этот пример оценки UNO очень похож на вашу проблему и может предоставить некоторые идеи и рекомендации.

person Brad Dwyer    schedule 12.09.2020
comment
Потрясающий! Благодаря тонну! Это было именно то, что я искал! - person Swissdude; 15.09.2020