Геометрическое доказательство сходимости алгоритма персептрона

У меня есть вопрос относительно доказательства сходимости алгоритма перцептрона Джеффри Хинтона: Слайды лекций.

На слайде 23 написано:

Каждый раз, когда персептрон совершает ошибку, квадрат расстояния до всех этих возможных весовых векторов всегда уменьшается как минимум на квадрат длины вектора обновления.

Моя проблема в том, что я могу сделать сокращение расстояния сколь угодно малым, сдвинув допустимый вектор вправо. Смотрите здесь для изображения:

векторная диаграмма

Итак, как можно гарантировать, что расстояние будет уменьшаться на квадрат длины вектора обновления (синий), если я могу сделать его сколь угодно малым?


machine-learning algorithm perceptron convergence proof
person R. Downey    schedule 01.02.2017    source источник
comment
Этот вопрос лучше подходит для stats.stackexchange.com.   -  person Artem Sokolov    schedule 02.02.2017
comment
Спасибо за совет. Могу ли я все еще перенести его в статистику?   -  person R. Downey    schedule 02.02.2017

Ответы (2)


arrow_upward
0
arrow_downward

Если я правильно читаю его доказательство, есть две причины:

  1. Это касается набора допустимых векторов, а не только одного.
  2. Ссылка на сумму квадратов расстояний до отдельных векторов. Обратите внимание, что обновление перемещает новую точку дальше от коричневой точки (еще один допустимый вектор).
  3. Перемещение одного вектора изменит вектор обновления.
person Prune    schedule 01.02.2017

arrow_upward
-1
arrow_downward

В доказательстве говорится, что «квадрат расстояния» a ^ 2 + b ^ 2, а не расстояния по прямой (евклидово расстояние), которые могут вызвать проблемы. Поскольку мы обновляем «плохой» вектор весов «по вертикали», сохраняя при этом то же «горизонтальное» расстояние, мы всегда гарантированно приближаемся к допустимому вектору, по крайней мере, на квадрат длины вектора обновления. Я считаю, что это должно быть обобщено на большее количество измерений. Пожалуйста, поправьте меня, если я ошибаюсь.

person Max Lin    schedule 24.07.2017