Вы спорили с концепцией регрессии LASSO?

Регуляризация L1 (также называемая регрессией LASSO) используется реже, чем регуляризация L2, но в некоторых ситуациях имеет некоторые ключевые преимущества; На ум приходит правило 80–20 (также известное как принцип Парето): «80% последствий происходят от 20% причин».

Предварительная информация: Регуляризация, Регуляризация L2

  1. Почему? Для любой модели одни веса будут важнее других. Однако случайный шум во время тренировки будет влиять на некоторые из менее важных весов. Следовательно, один из способов предотвратить переобучение модели под шум (а также упростить определение того, какие функции действительно важны) - это избавиться от менее преобладающих весов.
  2. Что? Регуляризация L1 - это метод уменьшения сложности модели путем обнуления некоторых менее важных весов (т. е. поощряет разреженность ), тем самым делая модель более визуально интерпретируемой.
  3. Как? L1 Регуляризация добавляет абсолютное значение веса как штрафной член к функции потерь (умноженный на гиперпараметр лямбда). Это означает, что во время градиентного спуска все веса многократно штрафуются, так что только важные веса (т. Е. Многократно увеличиваются в положительном направлении, потому что в обучающих примерах они используются, а не только из-за случайный шум) сохранится, а остальные перейдут в 0.