Что такое гауссовский процесс и почему?

Гауссовский процесс — это концепция, которая всегда идет рядом с байесовской линейной регрессией. Оба подхода имеют сильные преимущества по сравнению с измерением неопределенности прогнозов. Обычная поговорка по этому поводу заключается в том, что знание неопределенности выходных данных глубокой нейронной сети (DNN) имеет решающее значение для обработки совершенно несвязанных входящих данных и безопасного реагирования на них. В моем случае я всегда предпочитал четкие цифры вероятностям и распределениям. Однако в настоящее время я начал осознавать важность знания того, насколько уверенно я могу говорить о выходе своей DNN, и мне пришлось попробовать. Кроме того, я следил за этой замечательной реализацией процесса Гаусса от Martin Krasser и сделал более простую версию этого Google Colab для всех, кто хочет повторить это на практике.

Введение

Гауссовские процессы (ГП) — это распределения по функциям. Поначалу может быть трудно понять концепцию распределений по функциям, но проще думать об этом как о поиске диапазона правдоподобных функций на основе данных. Тогда может возникнуть вопрос, в чем отличие от байесовской линейной регрессии. Ну, в моем понимании, байесовская линейная регрессия имеет фиксированную базисную функцию (например, тождественную, полиномиальную или гауссову) и пытается найти распределения весов. С другой стороны, GP — это случайный процесс (т. е. стохастический процесс), в котором значения функции присваиваются случайной величине (т. е. случайной функции), и эти случайные величины следуют распределению Гаусса. Следовательно, GP параметризуются средней функцией и функцией ковариации, как и любые другие переменные, которые следуют многомерному гауссовскому распределению.

Математическая основа

Как мы уже обсуждали, GP параметризуются средним значением и ковариационной функцией, которую можно представить следующим образом:

Это означает, что распределение случайной величины fпри заданных входных данных X следует распределению Гаусса при заданной функции среднего значения μ и ковариационной функции κ.

Для математического удобства мы обычно устанавливаем среднюю функцию μ равной 0, что можно получить путем нормализации данных на практике.

Поскольку определение GP говорит нам, что совместное распределение конечного числа случайных величин следует гауссовскому, считается, что совместное распределение наблюдаемых значений и прогнозов также является гауссовым. Поскольку мы больше заинтересованы в прогнозировании с учетом новых входных данных, апостериорный анализ GP можно описать следующим образом:

Если мы хотим принять во внимание зашумленные значения функции, где мы предполагаем, что шум также следует нормальному распределению с нулевыми средними значениями:

Выполнение

Первым шагом в GP является определение ядра, которое в нашем случае является ядром Гаусса или ядром радиальной базисной функции (RBF). Ядро дает нам представление о том, насколько далеки друг от друга входные данные. Таким образом, предсказанные значения функции рядом с обучающими данными подобны друг другу. Кроме того, чем ближе входящие данные к обучающим данным, тем меньше должна быть неопределенность. Ниже приведен пример ядра Гаусса:

Параметры вертикального и горизонтального отклонения определены как σ и l выше.

Затем мы можем получить случайные выборки с нулевыми средними и ковариационной матрицей, рассчитанной ядром выше. Вот пример с доверительным интервалом 95%.

Неопределенность, как и в синей области выше, рассчитывается как 1,96 (95% доверительный интервал), умноженный на квадратный корень дисперсии, который является диагональным элементом ковариационной матрицы.

Предположим, что у нас есть обучающие данные, которые следуют синусоидальной функции. Апостериорные данные с учетом обучающих данных будут следующими:

Мы можем заметить, что обучающие данные без шума будут иметь точные значения функции в каждой точке выборки с нулевой неопределенностью. Однако обучающие данные с некоторым уровнем шума будут иметь гладкую среднюю функцию для каждой точки выборки.

Вот несколько примеров того, как различные параметры влияют на результат, касающийся σ, l, и шума. Вертикальные и горизонтальные вариации контролируются параметрами σ и l. Поскольку значение расстояния, определенное нашим ядром, показывает большое расстояние с большим σ, что приводит к более резкому увеличению неопределенности по мере удаления данных. С другой стороны, чем больше l, тем меньше становится расстояние, что делает неопределенность более плавной вдоль горизонтальной оси. Кроме того, уровень шума, показанный ниже как sigma_y, показывает, как средняя функция сглаживается между тренировочными данными по мере увеличения уровня шума.