Регуляризация — это распространенный способ избежать переобучения модели путем добавления дополнительного члена в функцию потерь.
мы часто рассчитываем потери, вычисляя ошибки (расстояния) между наземными истинами и выходными результатами (как функция, показанная ниже). Это может привести к сравнительно меньшим потерям при обучении, что мы считаем идеальной моделью. Однако при использовании модели на тестовом наборе данных мы получаем очень высокие потери при тестировании, поэтому мы называем это явление «переобучением».
Мы добавляем дополнительный член регуляризации в конце, поэтому функция становится такой:
Последний член показывает, что мы предпочитаем меньшие веса в модели. Меньшие веса сглаживают модельную функцию, а именно, вход менее чувствителен к выходу. Следовательно, когда данные тестирования вводятся в модель, шумы среди данных тестирования оказывают незначительное влияние на выходные данные, и мы можем получить лучший результат.
Мы можем установить другое значение параметра 𝜆, в зависимости от того, какое значение дает меньшие потери.
Я использую потерю регуляризации в своем проекте распознавания рукописных цифр. Для получения более подробной информации, пожалуйста, посетите страницу github. https://github.com/gary30404/нейронная сеть-с нуля-python
Если вам понравилась эта статья и вы считаете ее полезной, поддержите ее с помощью👏.
