Я использую реализацию Scipy LBFGS для минимизации невыпуклой целевой функции. Результат не так уж и плох. Но статус конвергенции "ABNORMAL_TERMINATION_IN_LNSRCH".
Возможно ли, что это связано с тем, что моя целевая функция невыпукла? Или это может означать, что мои градиенты (аналитически рассчитанные вручную и переданные в качестве аргумента в LBFGS Scipy) неверны?
Все в порядке. Обычно L-BGFS, градиентные спуски являются методами выпуклой оптимизации. Это означает, что ваша функция оптимизации должна иметь глобальный минимум и быть гладкой. Когда функция невыпуклая, она имеет различные ландшафты, известные нам как локальные минимумы. Таким образом, в этом случае, когда мы используем методы выпуклой оптимизации для невыпуклой функции, происходит то, что процедура оптимизации может найти локальные минимумы, что не является идеальным ответом.
