Алгоритмы, обеспечивающие развитие глубокого обучения

В этой истории мы поймем, как глубокое обучение развивается другими алгоритмами и технологиями.

Ниже вы можете увидеть подборку улучшений в машинном и глубоком обучении, отсортированных от наименее эффективных (надеюсь, мы сможем объявить их так) до наиболее эффективных.

1. Вероятностное моделирование

В вероятностном моделировании мы уступим место этим двум: наивной байесовской классификации и логистической регрессии.

  • Naïve Bayes — это классификатор машинного обучения, основанный на применении теоремы Байеса, в которой вероятность признака рассчитывается с заданными атрибутами.
  • Независимость каждого признака выделяется для вычисления доминирующего признака в рамках классификации. Это дает название наивной классификации Байеса.
  • Наивный Байес имеет более высокое смещение и низкую дисперсию. Результаты анализируются, чтобы узнать о генерации данных, что упрощает прогнозирование с меньшим количеством переменных и меньшим количеством данных. Наивный Байес дает более быстрое решение для нескольких тренировочных наборов с учетом независимых функций.
  • Логистическую регрессию иногда называют «привет, мир» современного машинного обучения.
  • Вероятность выборки рассматривается из класса, и линейная классификация выполняется по тому же принципу на основе вероятности.
  • Это поиск границы решения между двумя или более классами и их экземплярами, чтобы классы можно было разделить на основе их поведения.
  • Логистическая регрессия имеет низкое смещение и более высокую дисперсию.

2. Методы ядра

Методы ядра — это группа алгоритмов классификации, наиболее известным из которых является машина опорных векторов (SVM).

  • SVM нацелены на решение проблем классификации путем нахождения хороших границ между двумя наборами точек, принадлежащих к двум разным категориям.
  • Границу решения можно представить как линию или поверхность, разделяющую данные обучения на два пространства, соответствующие двум категориям.
  • Правильная граница решения вычисляется путем максимизации расстояния между гиперплоскостью и ближайшими точками данных каждого класса. Этот шаг называется максимизация поля. Это позволяет хорошо обобщить границу для новых выборок за пределами обучающего набора данных.
  • SVM оказалось трудно масштабировать большие наборы данных, и они не давали хороших результатов для задач восприятия, таких как классификация изображений. Поскольку SVM является поверхностным методом, применение SVM к проблемам восприятия требует сначала извлечения полезных представлений вручную (шаг, называемый разработкой признаков), что сложно и ненадежно.

3. Деревья решений, случайные леса и машины повышения градиента

  • В частности, алгоритм случайного леса представил надежный и практический подход к обучению дерева решений, который включает в себя построение большого количества специализированных деревьев решений и последующее объединение их результатов.
  • Случайные леса применимы к широкому кругу задач. Это один из лучших алгоритмов для любой неглубокой задачи машинного обучения.
  • Машина повышения градиента, очень похожая на случайный лес, представляет собой метод машинного обучения, основанный на объединении слабых моделей прогнозирования, обычно деревьев решений.
  • Он использует повышение градиента, способ улучшить любую модель машинного обучения путем итеративного обучения новых моделей, которые специализируются на устранении слабых мест предыдущих моделей.

4. Нейронные сети

  • Алгоритм Long Short-Term Memory (LSTM), лежащий в основе глубокого обучения временных рядов, был разработан в 1997 году и с тех пор почти не изменился.
  • С 2012 года глубокие сверточные нейронные сети (консети) стали основным алгоритмом для всех задач компьютерного зрения; в более общем плане они работают над всеми перцептивными задачами.

И наконец, что отличает глубокое обучение?

  • Он полностью автоматизирует то, что раньше было самым важным шагом в рабочем процессе машинного обучения: проектирование признаков.
  • Все контролируется единым сигналом обратной связи: каждое изменение в модели служит конечной цели.
  • Глубокое обучение хорошо поддается распараллеливанию на GPU или TPU, поэтому оно может в полной мере использовать закон Мура.
  • В отличие от многих предыдущих подходов к машинному обучению, модели глубокого обучения можно обучать на дополнительных данных без перезапуска с нуля. Кроме того, обученные модели глубокого обучения можно использовать повторно: например, можно взять модель глубокого обучения, обученную классификации изображений, и поместить ее в конвейер обработки видео.

Ссылка:

Эти заметки взяты из книги «Глубокое обучение с помощью Python».