Вы когда-нибудь покупали новый автомобиль? Пойдете ли вы в автосалон, чтобы купить новую машину по рекомендации дилера? Это крайне маловероятно. Вы, вероятно, зайдете на несколько веб-сайтов, где люди оставили отзывы, и сравните несколько моделей автомобилей, изучив их характеристики и цены. Вы почти наверняка будете искать отзывы от своих друзей и коллег. Другими словами, вы придете к решению, основанному не на вашей собственной точке зрения, а на мнениях других.

Более того, считайте себя кинорежиссером, снявшим короткометражный фильм на важную и увлекательную тему. Теперь вы хотите получить ранние отзывы о фильме, прежде чем выпустить его для широкой публики. Каковы ваши варианты для достижения этого?

Вы можете попросить одного из своих друзей просмотреть фильм для вас. Также возможно, что человек, которого вы выбрали, близок вам и не хочет разбивать вам сердце, ставя оценку в одну звезду за ужасную работу, которую вы проделали. Другой вариант — попросить пятерых ваших коллег оценить фильм. Это должно дать вам лучшее представление о том, чего ожидать от фильма. Этот метод может генерировать точные рейтинги фильмов. Однако остается проблема: эти пять человек могут быть или не быть экспертами в предметной области по теме вашего фильма. Конечно, они могут оценить кинематографию, изображения и звук, но они не могут быть лучшими ценителями черного юмора. Как насчет того, чтобы взять интервью у 50 человек, чтобы узнать их мнение о фильме?

Некоторые из этих людей могут быть вашими друзьями, коллегами или совершенно незнакомыми людьми. Поскольку теперь у вас есть люди с разным набором знаний, ответы будут шире и разнообразнее. Оказывается, это лучший метод получения честной обратной связи по сравнению с предыдущими примерами, которые мы видели. Имея в виду эти два случая, легко сделать вывод, что разнообразная группа людей с большей вероятностью будет принимать более правильные решения, чем отдельные люди. Именно здесь возникает ансамблевое обучение.

Введение в ансамблевые методы

Теория ансамблевого обучения заключается в том, что при объединении множества слабых моделей обычно может быть получена гораздо более мощная модель. По сути, это процесс, который содержит несколько моделей, таких как классификаторы или эксперты, и стратегически генерируется и объединяется для решения конкретной задачи вычислительного интеллекта. Кроме того, ансамблевое обучение в основном используется для улучшения характеристик модели (классификация, предсказание, аппроксимация функций и т. д.) или для уменьшения вероятности неудачного выбора плохих моделей. Следовательно, делается вывод, что основные способы выполнения этой комбинации включают: бустинг (для уменьшения смещения модели), суммирование (для увеличения прогностической силы классификатора) и бэггинг (для уменьшения дисперсии модели).

Типы ансамблевых методов

Теперь, когда вы получили представление о том, что такое ансамблевое обучение, давайте взглянем на различные типы ансамблевых методов:

  • Бэгинг
  • Повышение
  • Укладка

Что такое бэггинг?

Термин «пакетирование» относится к «агрегации начальной загрузки». Это влечет за собой подгонку многочисленных базовых моделей к различным образцам начальной загрузки, а затем построение ансамблевой модели, которая «усредняет» результаты этих слабых моделей.

По сути, это метод выборки, который позволяет вам создавать подмножества наблюдений из исходного набора данных с использованием замены, при этом подмножества имеют тот же размер, что и исходный набор.

Кроме того, этот метод использует подмножества (мешки) для получения разумной оценки распределения (полного набора). Размер подмножеств пакетов может быть меньше исходного набора.

Как работает упаковка?

Основной принцип бэггинга заключается в том, чтобы сопоставить несколько отдельных моделей и «усреднить» их прогнозы, чтобы создать модель с меньшей дисперсией. Однако полностью подобрать независимые модели невозможно из-за большого объема требуемых данных. В результате бутстреп-выборки с хорошими «приблизительными характеристиками» будут использоваться для подбора почти независимых моделей.

Что такое продвижение?

После изучения основ бэггинга у вас возникает еще один вопрос, на который необходимо ответить: если точка данных неправильно предсказывается первой моделью, а затем следующей и так далее, даст ли объединение прогнозов лучшие результаты? Чтобы решить эту проблему, в игру вступает последовательный метод, который итеративно подбирает модели. Этот метод известен как Boosting, который в основном представляет собой последовательный процесс. В процессе повышения каждая последующая модель пытается исправить ошибки предыдущей модели. Следовательно, последующие модели зависят от предыдущей модели.

Как работает повышение?

Повышение выполняется таким образом, что обучение модели на любом данном шаге зависит от моделей, подогнанных на предыдущих шагах. Это приводит к модели ансамбля, которая, как правило, менее предвзята, чем слабые ученики, которые ее составляют. Поскольку эта стратегия в первую очередь связана с уменьшением смещения, модели с высоким смещением, но низкой дисперсией часто рассматриваются для повышения. После выявления слабых учеников необходимо определить, как они будут агрегироваться и последовательно подбираться.

Стекирование и как оно работает?

Стекинг отличается от бустинга и бэггинга двумя способами. Во-первых, в отличие от бустинга и бэггинга, которые в первую очередь учитывают однородных слабых учеников, стекирование часто рассматривает разнородных слабых учеников (сочетает несколько методов обучения). Во-вторых, стек учит комбинировать базовые модели с использованием метамодели, тогда как бустинг и бэггинг используют детерминированные методы для объединения слабых учеников.

Чтобы иметь базовое понимание, предположим, что есть необходимость подогнать стековый ансамбль со слабыми учениками. Это будет сделано в три шага.

Во-первых, разделение обучающих данных на две части. После этого выберите слабых учащихся и подгоните их под данные. После того, как учащийся выбран, третий шаг должен быть выполнен для каждого из слабых учеников, который делает прогнозы для наблюдений во второй части. Чтобы проверить метод, подберите метамодель, используя в качестве входных данных прогнозы, сделанные слабыми учениками.

Сводка

Это привело к выводу, что обучение ансамблем заключается в объединении некоторых базовых моделей для получения модели ансамбля с лучшими характеристиками. Следовательно, очевидно, что бэггинг направлен на создание модели ансамбля с меньшей дисперсией, чем ее компоненты. , в то время как суммирование и бустинг сосредоточены на создании надежных моделей, которые менее предвзяты, чем их компоненты.