2020 сломал наше машинное обучение моделей

Выявление проблем и внесение изменений в 2021 году

Изображение пользователя moritz320 из Pixabay

Без сомнения, поведение потребителей резко изменилось в 2020 году. Нам будет трудно найти модель, которая предсказала бы глобальную потребность в масках для лица N95 и других СИЗ. Модели поставок СИЗ необходимо будет полностью переработать и переобучить. Как поживают ваши модели? Как и многие специалисты по прикладным наукам о данных, вы можете обнаружить, что некоторые результаты моделей в последние месяцы не были «типичными» — начните 2021 год с просмотра своих моделей и составления плана действий.

Почему возникает беспокойство?

Очевидно, что модели прогнозирования потребительского спроса терпят неудачу, когда происходят резкие сдвиги в фактическом потребительском спросе. Выбросы всегда проблематичны. 2020 год принес МНОГИЕ исключительные сценарии. Спрос на ноутбуки и периферийные устройства резко вырос из-за внезапного перехода к работе и учебе из дома. Остановы производства в цепочках поставок нарушили нормальный поток своевременных запасов компьютерных компонентов. Переход от покупок в магазине к онлайн-доставкам привел к перегруженности доставки на последней миле. Имеются ли в модели спроса функциональные флаги, указывающие на то, что поставщик закрыл фабрику, И пути доставки были закрыты, И потребительский спрос подскочил бы после типичной праздничной суматохи? Возможно нет. И по уважительной причине. Не существует современной цифровой истории всемирной пандемии с таким масштабным воздействием, как COVID-19. Модели не могли предсказать то, чему они не научились.

У вас есть проблемы?

Вот некоторые основные сценарии, которые могут указывать на необходимость принятия мер.

Упал ли ваш показатель успеха? По сути, ваша модель больше не работает? Все модели ухудшаются после развертывания, но сильно ли изменились ваши показатели? Это симптом. См. другие сценарии для возможных основных причин.

Изменилось ли распределение характеристик ваших данных (дрейф данных)? Частью мониторинга модели является оценка изменений в распределении данных в данных. Многие платформы имеют автоматический мониторинг дрейфа данных с сигнализацией. Сработал ли какой-нибудь из ваших будильников?

Изменилось ли отношение между функцией и целью (дрейф концепции)? В 2019 году ваша модель настроений оценила «маску» как нейтральную, а в 2020 году модель должна оценить ее как негативную. Простое переобучение данных без перемаркировки тональности слова «маска» будет неэффективным.

Подумайте, изменилась ли среда настолько, что изменилась реальная бизнес-задача. Этот анализ может потребовать, чтобы вы проконсультировались со своими бизнес-спонсорами и профильными экспертами (МСП). Если среда резко изменилась, переобучение модели для достижения теперь недостижимой бизнес-цели — пустая трата времени, ресурсов и репутации.

Что вы можете сделать по этому поводу?

У вас есть несколько маршрутов в зависимости от степени изменений, которые вам нужно сделать.

Если вы считаете, что проблема заключается в дрейфе данных, а сами функции данных обучения и оценки все еще актуальны, может быть достаточно переобучения модели с использованием обновленных исторических данных. Если данные продолжают меняться, рассмотрите возможность настройки графика переобучения на более частую частоту.

Если вы считаете, что проблема связана с дрейфом концепции, у вас есть дополнительная работа. Вам придется перемаркировать свои исторические данные перед повторным обучением.

Вам нужны новые функции данных? Нужен «глобальный флаг пандемии»? Если это так, вам может потребоваться дополнительная работа с конвейером данных, анализом, обучением и настройкой. Основная архитектура и дизайн вашего алгоритма могут остаться нетронутыми.

Если базовый бизнес-вариант использования изменился, вы можете полностью переработать его. Или модель нужно полностью удалить. Если ваша модель предсказывает уровень бронирования столиков в ресторане, у вас есть более серьезные проблемы, чем плохие результаты модели. Является ли переобучение модели лучшим использованием ресурсов в настоящее время?

Вывод

Я не вижу стабилизации потребительских данных в начале 2021 года. Слишком много неизвестных переменных, касающихся развертывания вакцин, мутаций вируса и самого большого неизвестного из всех — поведения человека. Какое потребительское поведение вернется к «нормальному» через годы, а какое резко изменится после вакцинации? Приготовьтесь усилить мониторинг моделей, увеличить частоту повторного обучения и изучить решения для активного обучения для ваших бизнес-кейсов.

Спасибо за серьезное отношение к мониторингу и обслуживанию моделей! Миру науки о данных нужны преданные своему делу практики, такие как вы.

2020 сломал наше машинное обучение моделей

Выявление проблем и внесение изменений в 2021 году

Почему возникает беспокойство?

У вас есть проблемы?

Что вы можете сделать по этому поводу?

Вывод

Использованная литература:

Прогнозирование потребительского спроса в непредсказуемом мире

Covid-19 разрушил прогнозы спроса, которыми руководствуются ритейлеры и поставщики потребительских товаров и услуг в…

hbr.org

Нежное введение в концептуальный дрейф в машинном обучении — мастерство машинного обучения

Данные могут меняться со временем. Это может привести к ухудшению и снижению эффективности прогнозирования в моделях прогнозирования, которые…

machinelearningmastery.com

2020 сломал наше машинное обучение моделей

Выявление проблем и внесение изменений в 2021 году

Почему возникает беспокойство?

У вас есть проблемы?

Что вы можете сделать по этому поводу?

Вывод

Использованная литература:

Прогнозирование потребительского спроса в непредсказуемом мире

Covid-19 разрушил прогнозы спроса, которыми руководствуются ритейлеры и поставщики потребительских товаров и услуг в…

hbr.org

Нежное введение в концептуальный дрейф в машинном обучении — мастерство машинного обучения

Данные могут меняться со временем. Это может привести к ухудшению и снижению эффективности прогнозирования в моделях прогнозирования, которые…

machinelearningmastery.com

Похожие вопросы