Публикации по теме 'gradient-descent'


Градиентный спуск, способ дротика
Этот пост является частью серии статей о машинном обучении в Dart: Машинное обучение на языке программирования Dart Нежное введение в линейную регрессию Линейная регрессия: краткое описание метода наименьших квадратов Линейная регрессия: решение в закрытой форме, метод Dart В моей последней статье мы познакомились с лаконичным и элегантным решением задачи обыкновенных наименьших квадратов — The Closed Form Solution. В этой статье мы рассмотрим еще один..
Понимание градиентного спуска и математика, лежащая в основе:
Градиентный спуск - это широко используемый алгоритм оптимизации , используемый рядом алгоритмов машинного обучения. Алгоритмы машинного обучения имеют функции стоимости, которые вычисляют ошибку (прогнозируемое значение - фактическое значение) модели. Итак, лучшей моделью должна быть модель с минимальной стоимостью . Цель градиентного спуска - найти параметры модели, которые имеют минимальную стоимость. Когда мы передаем модель, которую хотели бы использовать, для градиентного..
Многомерная линейная регрессия с нуля
С кодом на Python Введение В этом новом выпуске серии Основы машинного обучения мы создадим модель для задачи многомерной линейной регрессии и проверим нашу модель, используя библиотеки Mathplotlib , Pandas и NumPy в Python. При создании нашей модели мы будем использовать набор данных Kaggle в качестве ресурса для обучения и проверки. Для этой цели мы будем использовать и объяснять основные части следующего блокнота Kaggle : Многомерная..
Другой подход к линейной регрессии: градиентный спуск
В последнем уроке мы узнали о нашем первом алгоритме машинного обучения под названием «Линейная регрессия». Мы сделали это, используя метод под названием «Обычные наименьшие квадраты», но есть и другой подход. Этот подход становится основой нейронных сетей и называется Градиентный спуск . И пусть вас не пугает название, потому что подход на самом деле довольно прост, и мы также поймем, как его реализовать с помощью sklearn. Рекомендуется знать основы многомерного исчисления, если вы не..
«Понимание градиентного спуска: интуиция, математическая формулировка и вывод»
Пакетный градиентный спуск Градиентный спуск — это популярный алгоритм оптимизации, используемый в машинном обучении для минимизации функции путем итеративной настройки ее параметров. Основная идея состоит в том, чтобы переместить параметры функции в направлении наискорейшего спуска градиента функции. Проще говоря, представьте, что вы находитесь на вершине горы и хотите добраться до подножия как можно быстрее. Вы можете начать спускаться по склону, делая шаги в том направлении,..
Разработка алгоритма градиентного спуска для модели регрессии
При обучении с учителем алгоритм обучается с использованием функции, называемой функцией потерь, функцией стоимости или функцией ошибки, которая является функцией прогнозируемого результата и желаемого результата. Если h(xi) — прогнозируемый результат, а yi — желаемый результат, функция потерь равна где n — общее количество записей, для которых делаются прогнозы. Определенная функция представляет собой среднеквадратичную ошибку (MSE). MSE — это функция потерь для регрессионной..
Систематическая методология непрерывного анализа ускоренных градиентных методов
В машинном обучении мы часто минимизируем функцию потерь, чтобы разница между точкой решения и оценками сходилась к нулю. Мы налагаем разумное структурное предположение, что функция является выпуклой , поскольку она обладает удобным свойством, состоящим в том, что все локальные минимумы также являются глобальными минимумами. Рассматривая выпуклую и дифференцируемую функцию f , наша задача оптимизации состоит в том, чтобы минимизировать f , где X_★ – это минимизатор . (если..