Вот ваше двухэтапное руководство по настройке нового веб-сайта с прогнозом посещений. Во-первых, возьмите общие бесплатные данные модели океана и создайте веб-сайт, а во-вторых, расскажите всем, что теперь у вас есть «самый точный» прогноз для серфинга.
Это шаблон, который мы наблюдали снова и снова, но мы не видели, чтобы кто-нибудь объяснил, как они на самом деле оценивают эту точность. Что это значит?
Прежде чем мы углубимся в нюансы, давайте начнем с реальных основ. Чтобы точно судить о прогнозе, вам нужны две вещи; прогноз и что-то, с чем можно его сравнить. Первый красный флаг, который мы видим, когда слышим эти заявления о точности, заключается в том, что это не мерило. Точность - это не «ощущение» - это результат измерения разницы между тем, что, по вашему мнению, произойдет, и тем, что произошло. Сделать такой прогноз относительно легко, а иногда сложнее проверить его правильность.
Surfline решила эту проблему, наняв обученных серферов-наблюдателей, которые ежедневно собирали подробные отчеты с большого количества пляжей. Это не настолько абсолютная истина, как вы могли бы пожелать, в наблюдаемых отчетах всегда присутствует некоторая субъективность и предвзятость, но вы должны понимать, что когда мы используем слово точность, оно означает измеримый разрыв между тем, что мы сказали, и тем, что мы видели. В конце концов, если вы не можете его измерить, вы не сможете его улучшить, все, что вы можете сделать, это использовать его как маркетинговый укус.
Получение технических
Итак, как мы это делаем? Вот тут-то и проявляется нюанс, и нет однозначного ответа. Типичным показателем точности прогноза является RMSE или среднеквадратичная ошибка. Здесь мы наказываем нечастые более крупные ошибки больше, чем частые более мелкие. С первого взгляда это кажется разумным - мы должны больше всего заботиться о том, чтобы ошибаться, - но у него есть некоторые проблемы с нашими конкретными данными. Мы знаем, что человеку-наблюдателю труднее судить о размере большого прибоя, поэтому мы знаем, что, вероятно, будет разрыв между нашим прогнозом и нашим наблюдением, и это не все ошибки прогноза, некоторые из них будут ошибками наблюдения, когда мы доберемся до большие волны.
Нашей отправной точкой часто является использование MAE или средней абсолютной ошибки для понимания ошибки прогноза высоты прибоя. Используя это, ошибка в 1 фут в пяти отчетах совпадает с ошибкой в 5 футов в одном отчете. Это не идеально, если бы все эти ошибки происходили в течение двух футов дня, мы, вероятно, назвали бы одну большую ошибку проблемой, но это позволяет избежать некоторых ловушек RMSE.
Наша следующая проблема - это сравнительный анализ в условиях изменчивого волнового климата. Представьте себе зиму в Эль-Ниньо с множеством очень больших волн. Как бы вы ни измеряли погрешность, вы могли бы выполнять свою работу так же хорошо, как обычно, и все же видеть в целом больший промах просто потому, что волны были больше. По этой причине мы устанавливаем базовые показатели наших показателей точности, сравнивая их с наивным прогнозом (в нашем случае это простой алгоритм обмеления, который основывает высоту прибоя на высоте и периоде волны, а не на часто используемом одношаговом прогнозе). Поскольку наивный прогноз пропорционален общей высоте волны, он устраняет часть шума в сезонном климате - он также помогает нам понять, лучше ли мы делаем, чем этот более простой вид прогноза, который является первой целью, которую нам нужно достичь. Это делает нашу MAE относительно общей высоты волны без полного устранения мелких повторяющихся ошибок, которые могут быть проблематичными в некоторых местах, и мы хотели бы их исправить. Эта MASE или средняя абсолютная масштабируемая ошибка - отличный способ оценить наши улучшения производительности с течением времени, независимо от состояния океанов.
Надеюсь, вы начинаете понимать, что мы очень заботимся о том, чтобы быть правыми, измерять, насколько хорошо мы делаем, а затем делать это лучше. Если мы говорим, что новая модель или прогноз более точны, чем старая, мы на самом деле измерили это на практике и измерили таким образом, который, по нашему мнению, делает их значимыми для серферов. Нельзя сказать, что наши прогнозы идеальны, просто они постоянно улучшаются, и мы точно знаем, насколько!
Наконец, если вы настроили этот новый веб-сайт или разработали новую методологию прогнозирования посещений и действительно хотите правильно провести сравнительный анализ - мы будем рады помочь с достоверными данными, которые позволят провести надлежащий анализ.
Проверьте этот документ для получения дополнительной информации о MASE
Если у вас возникнут какие-либо вопросы о том, как мы измеряем точность прогнозов по посещению страниц, задавайте их в комментариях ниже или найдите меня в twitter.
