Определение машинного обучения
В некотором смысле машинное обучение работает аналогично человеческому обучению. Например, если ребенку показывают изображения с определенными объектами на них, он может научиться идентифицировать и различать их. Машинное обучение работает таким же образом: с помощью ввода данных и определенных команд компьютер может «научиться» идентифицировать определенные объекты (людей, объекты и т. д.) и различать их. Для этого программное обеспечение снабжается данными и обучается. Например, программист может сообщить системе, что конкретный объект является человеком (="человек"), а другой объект не является человеком (="не человек"). Программное обеспечение получает постоянную обратную связь от программиста. Эти сигналы обратной связи используются алгоритмом для адаптации и оптимизации модели. С каждым новым набором данных, загружаемым в систему, модель дополнительно оптимизируется, чтобы в конечном итоге она могла четко различать «людей» и «не людей».
Машинное обучение — это подраздел искусственного интеллекта, в котором этот термин относится к способности ИТ-систем самостоятельно находить решения проблем, распознавая закономерности в базах данных. Другими словами: машинное обучение позволяет ИТ-системам распознавать шаблоны на основе существующих алгоритмов и наборов данных и разрабатывать адекватные концепции решений. Поэтому в машинном обучении искусственные знания генерируются на основе опыта.
Чтобы программное обеспечение могло самостоятельно генерировать решения, необходимы предварительные действия людей. Например, в системы должны быть заранее введены необходимые алгоритмы и данные, а также должны быть определены соответствующие правила анализа для распознавания закономерностей в массиве данных. После выполнения этих двух шагов система может выполнять следующие задачи с помощью машинного обучения:
- Поиск, извлечение и обобщение соответствующих данных
- Делать прогнозы на основе данных анализа
- Расчет вероятностей для конкретных результатов
- Автономная адаптация к определенным событиям
- Оптимизация процессов на основе признанных шаблонов
Как это работает
В машинном обучении используются два типа методов: обучение с учителем, которое обучает модель на известных входных и выходных данных, чтобы она могла прогнозировать будущие результаты, и обучение без учителя, которое находит скрытые шаблоны или внутренние структуры во входных данных.
Рис. 1. Методы машинного обучения включают как обучение без учителя, так и обучение с учителем
Контролируемое обучение
Машинное обучение с учителем строит модель, которая делает прогнозы на основе доказательств при наличии неопределенности. Алгоритм контролируемого обучения берет известный набор входных данных и известные реакции на данные (выходные данные) и обучает модель генерировать разумные прогнозы для реакции на новые данные. Используйте обучение с учителем, если у вас есть известные данные для результата, который вы пытаетесь предсказать.
Обучение под наблюдением использует методы классификации и регрессии для разработки прогностических моделей.
Методы классификации предсказывают дискретные ответы, например, является ли электронное письмо подлинным или спамом, является ли опухоль злокачественной или доброкачественной. Модели классификации классифицируют входные данные по категориям. Типичные приложения включают медицинские изображения, распознавание речи и кредитный скоринг.
Используйте классификацию, если ваши данные можно пометить, классифицировать или разделить на определенные группы или классы. Например, приложения для распознавания рукописного ввода используют классификацию для распознавания букв и цифр. В обработке изображений и компьютерном зрении методы неконтролируемого распознавания образов используются для обнаружения объектов и сегментации изображений.
Общие алгоритмы выполнения классификации включают автомат опорных векторов (SVM), усиленные и пакетированные деревья решений, k-ближайший сосед, Наивный байесовский анализ, дискриминантный анализ. , логистическая регрессия и нейронные сети.
Методы регрессии предсказывают непрерывные реакции, например изменения температуры или колебания энергопотребления. Типичные приложения включают прогнозирование нагрузки на электроэнергию и алгоритмическую торговлю.
Используйте методы регрессии, если вы работаете с диапазоном данных или если характер вашего отклика представляет собой действительное число, такое как температура или время до отказа части оборудования.
Общие алгоритмы регрессии включают линейную модель, нелинейную модель, регуляризацию, ступенчатую регрессию, усиленные и пакетные деревья решений, нейронные сети и адаптивное нейро-нечеткое обучение.
Неконтролируемое обучение
Обучение без учителя находит в данных скрытые закономерности или внутренние структуры. Он используется для получения выводов из наборов данных, состоящих из входных данных без помеченных ответов.
Кластеризация – наиболее распространенный метод обучения без учителя. Он используется для исследовательского анализа данных, чтобы найти скрытые закономерности или группировки в данных. Приложения для кластерного анализа включают анализ последовательности генов, исследование рынка и распознавание объектов.
Например, если компания сотовой связи хочет оптимизировать места, где они строят вышки сотовой связи, она может использовать машинное обучение для оценки количества групп людей, полагающихся на их вышки. Телефон может одновременно разговаривать только с одной вышкой, поэтому команда использует алгоритмы кластеризации для разработки наилучшего размещения вышек сотовой связи, чтобы оптимизировать прием сигнала для групп или кластеров своих клиентов.
Рисунок 2. Кластеризация находит скрытые закономерности в ваших данных.
Как вы решаете, какой алгоритм машинного обучения использовать?
Выбор правильного алгоритма может показаться сложным — существуют десятки контролируемых и неконтролируемых алгоритмов машинного обучения, и каждый использует свой подход к обучению.
Не существует лучшего метода или универсального метода. Поиск правильного алгоритма отчасти является методом проб и ошибок — даже очень опытные специалисты по обработке и анализу данных не могут сказать, будет ли алгоритм работать, не попробовав его. Но выбор алгоритма также зависит от размера и типа данных, с которыми вы работаете, информации, которую вы хотите получить из данных, и того, как эта информация будет использоваться.
Рисунок 3. Методы машинного обучения.
Преимущества машинного обучения
Машинное обучение, несомненно, помогает людям работать более творчески и эффективно. По сути, с помощью машинного обучения вы тоже можете делегировать компьютеру довольно сложную или монотонную работу — начиная со сканирования, сохранения и хранения бумажных документов, таких как счета, и заканчивая организацией и редактированием изображений.
Помимо этих довольно простых задач, самообучающиеся машины могут выполнять и сложные задачи. К ним относятся, например, распознавание шаблонов ошибок. Это большое преимущество, особенно в таких областях, как обрабатывающая промышленность: промышленность полагается на непрерывное и безошибочное производство. В то время как даже эксперты часто не могут быть уверены, где и при какой корреляции возникает производственная ошибка в парке оборудования, машинное обучение предлагает возможность раннего выявления ошибки — это экономит время простоя и деньги.
Программы самообучения теперь используются и в медицинской сфере. В будущем, после «потребления» огромных объемов данных (медицинских публикаций, исследований и т. д.), приложения смогут предупредить человека, если его врач захочет выписать лекарство, которое он не переносит. Это «знание» также означает, что приложение может предлагать альтернативные варианты, которые, например, также учитывают генетические потребности соответствующего пациента.
Машинное обучение: технологические лидеры
Помимо Microsoft, Google, Facebook, IBM и Amazon Apple также тратит огромные финансовые ресурсы на использование и дальнейшее развитие машинного обучения. Суперкомпьютер IBM Watson по-прежнему остается самым известным устройством для машинного обучения. Watson в основном используется в медицинском и финансовом секторах. Как уже упоминалось, Facebook использует Machine Learning для распознавания изображений, Microsoft — для системы распознавания речи Cortana, Apple — для Siri. Конечно, машинное обучение также используется в Google, как в области сервисов изображений, так и в ранжировании в поисковых системах.
Облачные провайдеры, такие как Google, Microsoft, Amazon Webservice и IBM, уже создали сервисы для машинного обучения. С их помощью разработчики, не обладающие специфическими знаниями в области машинного обучения, также могут разрабатывать приложения. Эти приложения могут учиться на свободно определяемом наборе данных. В зависимости от провайдера эти платформы имеют разные названия:
- IBM: Ватсон
- Amazon: Машинное обучение Amazon
- Майкрософт: Azure ML Studio
- Гугл: тензорный поток
Недостатки машинного обучения
При всех этих преимуществах своей мощности и популярности машинное обучение не идеально. Его ограничивают следующие факторы:
1. Сбор данных
Для машинного обучения требуются массивные наборы данных для обучения, и они должны быть инклюзивными/непредвзятыми и хорошего качества. Также могут быть моменты, когда они должны ждать, пока будут сгенерированы новые данные.
2. Время и ресурсы
Машинному обучению требуется достаточно времени, чтобы позволить алгоритмам учиться и развиваться в достаточной степени, чтобы выполнять свою задачу со значительной точностью и релевантностью. Он также нуждается в огромных ресурсах для функционирования. Это может означать дополнительные требования к мощности компьютера для вас.
3. Интерпретация результатов
Еще одной серьезной проблемой является способность точно интерпретировать результаты, полученные с помощью алгоритмов. Вы также должны тщательно выбирать алгоритмы для своих целей.
4. Высокая подверженность ошибкам
Машинное обучение автономно, но очень подвержено ошибкам. Предположим, вы тренируете алгоритм с наборами данных, достаточно маленькими, чтобы не быть инклюзивными. В итоге вы получаете предвзятые прогнозы, исходящие из предвзятого обучающего набора. Это приводит к тому, что клиентам показываются нерелевантные рекламные объявления. В случае машинного обучения такие промахи могут вызвать цепочку ошибок, которые могут оставаться незамеченными в течение длительного периода времени. И когда их замечают, требуется довольно много времени, чтобы распознать источник проблемы, и еще больше времени, чтобы исправить ее.
Резюме
В результате мы изучили преимущества и недостатки машинного обучения. Кроме того, этот блог помогает понять, почему нужно выбирать машинное обучение. Хотя машинное обучение может быть невероятно эффективным при правильном использовании и в нужных местах (где доступны массивные наборы обучающих данных), оно, безусловно, не для всех. Вам также может быть интересно прочитать Глубокое обучение против машинного обучения.
Что вы думаете? Расскажите нам в комментариях ниже.
вот некоторые из ресурсов, которые помогли мне написать этот блог, который вы должны использовать, если вы заинтересованы в машинном обучении:
https://www.mathworks.com/discovery/machine-learning.html
https://data-flair.training/blogs/advantages-and-disadvantages-of-machine-learning/
