Вступление

Когда дело доходит до проблемы регрессии, существует множество метрик оценки, и короче говоря, среднеквадратическая ошибка или RMSE является одним из методов «goto» для оценки проблем регрессии и существует с незапамятных времен.

Но в последнее время в оценочных показателях проблем регрессии, особенно в соревнованиях Data Science, появилась запись с подстановочными знаками, которая называется Среднеквадратичная ошибка журнала.

На первый взгляд может показаться, что есть разница только в ключевом слове «Журнал» в названии метрики. Но поверьте мне, это намного больше, чем кажется на первый взгляд. В этой короткой статье мы более подробно рассмотрим RMSLE и сравним его с метрикой RMSE. Если вы чувствуете, что вам нужно быстро освежить в памяти метрику оценки RMSE, вы можете проверить ссылку ниже

Первый взгляд

Прежде чем углубиться в тонкости RMSLE, давайте кратко рассмотрим формулировку.

Обратите внимание, что в формулировке X - это прогнозируемое значение, а Y - фактическое значение.

Когда мы видим формулировку RMSE, это просто похоже на различие функции журнала. На самом деле, эта небольшая разница в бревнах является основным фактором, который придает RMSLE собственные уникальные свойства.

Давайте рассмотрим их по очереди.

Устойчивость к выбросам

В случае RMSE наличие выбросов может привести к очень большому значению ошибки. Но в случае RMLSE выбросы резко уменьшаются, что сводит на нет их влияние.

Давайте разберемся с этим на небольшом примере:

Считайте, что прогнозируемое значение равно X, а фактическое значение - Y

Y = 60 80 90

X = 67 78 91

При подсчете их RMSE и RMSLE получаются равными: 4,242 и 0,6466 соответственно.

Теперь давайте представим выброс в данных

Y = 60 80 90 750

X = 67 78 91 102

Теперь в этом случае RMSE и RMSLE составляют: 374,724 и 1,160 соответственно.

Мы ясно видим, что значение RMSE резко возрастает, как только обнаруживает выброс. Напротив, даже при введении выброса на ошибку RMSLE не сильно влияет. Из этого небольшого примера мы можем ясно сделать вывод, что RMSLE очень надежен, когда в игру вступают выбросы.

Относительная ошибка

Если мы рассмотрим только внутреннюю часть RMLSE, мы обнаружим, что это в основном относительная ошибка вычислений.

Из этого мы можем ясно видеть, что благодаря свойству логарифмов, RMLSE можно в широком смысле рассматривать как относительную ошибку ошибки между прогнозируемыми и фактическими значениями.

Давайте разберемся в этом на примере.

Случай 1:

Y = 100

X = 90

Вычислено RMLSE: 0.1053

Расчетная RMSE: 10

На первый взгляд ничто не выглядит кричащим. Рассмотрим другой пример.

Случай 2:

Рассмотреть возможность

Y = 10000

X = 9000

Вычислено RMSLE: 0.1053

Расчетная RMSE: 1000

Удивлен?

Эти два примера полностью подтверждают аргумент относительной ошибки, о котором мы упоминали выше, метрика RMSLE учитывает только относительную ошибку между прогнозируемым и фактическим значением, а масштаб ошибки не имеет значения. С другой стороны, значение RMSE увеличивается по величине, если масштаб ошибки увеличивается.

Предвзятый штраф

Это, пожалуй, самый важный фактор, почему RMSLE был представлен в соревнованиях по науке о данных. RMSLE влечет за собой больший штраф за недооценку фактической переменной, чем за завышение.

Проще говоря, больше штрафов возникает, когда прогнозируемое значение меньше фактического значения. С другой стороны, «Меньший штраф» возникает, когда прогнозируемое значение больше фактического.

Разберемся на примере.

Случай 1. Недооценка фактической стоимости

Y = 1000

X = 600

Расчетное среднеквадратичное значение: 400

RMSLE Вычислено: 0,510

Случай 2: завышение фактической стоимости

Y = 1000

X = 1400

Расчетное среднеквадратичное значение: 400

RMSLE вычислено: 0,33

Из этих двух случаев очевидно, что RMLSE несет больший штраф за недооценку фактического значения. Это особенно полезно в тех случаях, когда недооценка целевой переменной недопустима, но допустимо завышение.

Например:

Рассмотрим задачу регрессии, в которой мы должны спрогнозировать время, необходимое агенту для доставки еды покупателям.

Теперь, если модель регрессии, которую мы построили, переоценивает время доставки, агент по доставке получает облегчение в отношении времени, которое он тратит на доставку еды, и это небольшое завышение приемлемо.

Но проблема возникает, когда прогнозируемое время доставки меньше, чем фактическая поездка, в этом случае агент доставки с большей вероятностью пропустит срок, в результате могут быть затронуты отзывы клиентов.

Построение RMSE и RMLSE

Здесь я строю кривую RMSE и кривую RMSLE. Для этого я просто предположил, что мое фактическое значение Y равно 500, и определил диапазон X от 0 до 1000. После того, как я определил X и Y, я вычислил RMSE и RMSLE для всех возможных различий между X и Y.

Эти кривые ясно иллюстрируют мысль, которую мы сделали относительно дополнительного штрафа за недооценку фактического значения.

На левой половине кривой RMLSE мы ясно видим, что ошибка быстро увеличивается по мере увеличения недооценки фактического значения. В то время как в правой части погрешность увеличивается не так быстро.

С другой стороны, RMSE не может уловить какую-либо особую связь между прогнозируемым значением и фактическим значением, и он является полностью линейным в обоих направлениях нулевой ошибки.

RMSE уже не выглядит так впечатляюще, не так ли?

Что ж, вы должны иметь в виду, что RMSE может оказаться лучшим показателем в определенных сценариях. Так что не стоит уже отказываться от этого.

Конечные заметки

Здесь я рассмотрел все мелкие детали метрики RMSLE для проблемы регрессии. Мы узнали об устойчивости RMSLE к выбросам, свойству вычисления относительной ошибки между прогнозируемыми и фактическими значениями, а также узнали о самом уникальном свойстве RMLSE, которое более сурово наказывает недооценку фактического значения, чем оно. делает для Завышения.

Итак, это подводит нас к завершению этой статьи. Я надеюсь, что вы теперь полностью осведомлены о метрике регрессии RMSLE и всех ее свойствах.