Логистическая регрессия становится методом классификации только тогда, когда результат или целевая переменная носят дихотомический характер и в картину вводится порог принятия решения. Дихотомический означает, что есть два возможных класса. Например, его можно использовать в сценарии, в котором вы прогнозируете модели голосования в США, чтобы предсказать, кто победит на следующих выборах. В таком случае вы бы использовали, если хотите предсказать, будет ли определенный человек голосовать за республиканца/демократа или нет.
В том же сценарии вы можете применить линейную регрессию для прогнозирования количества людей (непрерывно), которые отдадут свой голос за республиканца/демократа от каждого штата/города и т. д.
Еще одним примером логистической регрессии является предсказание, будет ли землетрясение в определенный день или нет. Ваш вывод всегда будет в категориальной форме (Дискретная форма) означает либо землетрясение (1), либо нет (0).
Видное применение логистической регрессии:
1 — Распознавание рукописного ввода
2 — Кредитный скоринг
3 — Категоризация и сегментация изображений
4 — Семейное положение, Пол, Работает, Жив/мертв, Вылечен/Не вылечен, Да/Нет
5 — Интерпретация МРТ или рентгена при раке
6 — Предсказание погоды (Облачно, Солнечно, Дождь, Буря или еще что-то)
Математика логистической регрессии
у нас есть бинарная выходная переменная Y (0 или 1, да или нет), и мы хотим создать модель с условной вероятностью Pr(Y= 1| X= x) как функция x; где x — любые подобные вытяжке непрерывные значения. Если мы применяем линейную регрессию или можно решить это с помощью линейной регрессии?
· P = результат от 0 до 1 (оценка вероятности)
· -(wx + b) является входом для функции (предсказание вашего алгоритма, например, mx + b)
· e = основание натурального бревна
Граница принятия решения —
Логистическая регрессия создает границу решения, минуя функцию стоимости, используемую для подгонки параметров.
Это полезно, поскольку мы можем не только предсказать класс наблюдения, но и количественно определить определенность такого предсказания. По сути, чем дальше точка от границы решения, тем более мы уверены в решении.
Например, если бы наш порог был равен 0,5, а наша функция прогнозирования вернула 0,7, мы бы классифицировали это наблюдение как положительное. Если бы наш прогноз был равен 0,2, мы бы классифицировали наблюдение как отрицательное. Для логистической регрессии с несколькими классами мы могли бы выбрать класс с наибольшей прогнозируемой вероятностью.
Функция стоимости —
Функция стоимости представляет собой оптимизацию всей модальности, это означает, что мы разрабатываем функцию стоимости и оптимизируем ее, чтобы мы могли построить точную модель с минимальной ошибкой (насколько хорошо работает наша модальность на основе данных обучения).
Функция стоимости похожа на функцию, которая дает вам количество ошибок. Чтобы найти оптимальную модель с минимальной частотой ошибок (функция стоимости), мы используем градиентный спуск.
Градиентный спуск
Как вы будете оценивать свою модель? Как вы можете судить, дает ли это выход для наших нужд или нет?
Для этого мы применяем функцию стоимости, которая дает нам разницу между тем, что предсказывает наш модал, и желаемым результатом.
Думайте о своей модели, как о школьнике; поэтому всякий раз, когда вы сделаете что-то неправильное, ваш учитель поправит его, пока не придет время, когда вы сможете понять, что нужно делать, а что нет. Эта коррекция выполняется с помощью Gradient Descent.
Этот алгоритм является очень мощным алгоритмом, который широко используется в глубоком обучении и машинном обучении.
Основная цель алгоритма градиентного спуска - найти наилучшие значения всех обучаемых параметров (веса w и смещения b) функции (f), чтобы наша частота ошибок стремилась к 0.
Давайте сначала посмотрим, как градиентный спуск работает с логистической регрессией.
Предположим, что модальная логистическая регрессия имеет две переменные, вес (w) и смещение (b), и найдем наиболее оптимальное значение, чтобы частота ошибок была минимальной.
1 — Инициализировать вес w и смещение b любым случайным числом.
2 - Найдите значение скорости обучения с определенными условиями, такими как
Если скорость обучения очень мала, то для сходимости потребуется много времени и это станет дорогостоящим в вычислительном отношении.
· Если скорость обучения велика, она может не сойтись и выйти за пределы минимума.
3 — Обязательно масштабируйте данные, если они находятся в другом масштабе. Если мы не масштабируем данные, кривые уровня (контуры) будут уже и выше, что означает, что для сходимости потребуется больше времени.
4. На каждой итерации берите частную производную функции стоимости f(w) по каждому параметру (градиенту). (Продолжайте процесс до тех пор, пока функция стоимости не сойдется. То есть, пока кривая ошибок не станет плоский и не меняется)
Функция потерь
Функция потерь — это метод оценки того, как будет работать ваша модель. Ваша функция потерь всегда сообщает вам об алгоритме вашей модели, насколько точна ваша модель.
Наиболее часто используемые функции потерь:
Среднеквадратическая ошибка
Перекрестная энтропийная потеря
Здесь мы обсуждаем среднеквадратичную ошибку, в следующей главе мы обсудим кросс-энтропийную потерю.
Среднеквадратическая ошибка (MSE) используется для измерения точности алгоритма нашей модели. Чтобы прогнозы были лучше, нам нужно меньшее значение среднеквадратичной ошибки (MSE).
Как рассчитать вес (w) и смещение (b)
Здесь мы видим, что нам нужно найти принципиальный способ узнать дельту w и дельту b.
Мы можем получить ответ из некоторой базовой математики.
Прежде чем начать сначала, мы рассмотрим первые производные, вторые производные и третьи производные.
Что такое производные
· Производная в первую очередь говорит нам о направлении, в котором движется функция. То есть он говорит нам, увеличивается функция или уменьшается.
· Производную можно интерпретировать как мгновенную скорость изменения.
· Производную также можно интерпретировать как наклон касательной.
Попробуйте найти w и b
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
Если вам понравилось читать этот пост, пожалуйста, поделитесь им и дайте несколько аплодисментов, чтобы другие могли его найти 👏👏👏👏👏 !!!!
Вы можете следить за мной на Medium, чтобы получать свежие статьи. Кроме того, свяжитесь со мной в LinkedIn.
Если у вас есть какие-либо комментарии, вопросы или рекомендации, не стесняйтесь публиковать их в разделе комментариев ниже!
