Представьте, что вам поставили задачу предсказать, сколько голов звездный футболист забьет в следующем матче. Получив результат, вы поспешно выкрикиваете ответ своему руководителю: минус 3. В течение доли секунды вы понимаете невероятность этого предсказания и его абсурдность.
Большинство моделей машинного обучения учатся в первую очередь на основе данных. Как гласит популярная поговорка: мусор на входе, мусор на выходе - введенные вами данные будут реплицированы на целевой вывод, который вы хотите получить позже; вы не можете ожидать хорошего прогноза, если ваш входной набор данных смещен, непоследователен или, что еще хуже, неточен.
Но что, если бы мы могли ограничить (или направить) эти модели машинного обучения, навязывая им некую формулировку физики, которая последовательно подчиняется законам природы?
Моделирование на основе данных и моделирование на основе теории
Пытаясь описать явления в реальном мире, нам нужно будет построить модели, которые могут точно воспроизвести эти события. В целом, большинство подходов к моделированию можно разделить на две основные категории: решения на основе данных или решения, основанные на теории.
Подход на основе данных основан на использовании данных для понимания происходящего вокруг явления, но часто с ограниченным пониманием лежащего в основе теоретического объяснения. Например, вам предлагается спрогнозировать стоимость жилья в определенном районе. У вас есть хорошая рабочая гипотеза, с которой можно работать, например, размер и расстояние до популярных сервисных центров будут иметь некоторое отношение к цене жилья. Это определенно имеет смысл, но существует очень мало основополагающей физической теории, которая могла бы дать окончательный результат с учетом необходимых исходных данных.
Подход, основанный на теории, с другой стороны, пытается построить модели на основе принципов первого порядка (например, сила, действующая на объект, описывается массой и создаваемым им ускорением - F = ma). В модели есть определенность, и вы можете описать систему, просто взглянув на математическую формулировку.
Гибридный подход: машинное обучение на основе физики
Но что, если бы вы могли объединить преимущества обоих?
Что, если феномен, который вы пытаетесь объяснить, имеет достаточно большой объем данных и может быть частично объяснен с использованием первых физических принципов?
У гибридного подхода есть некоторые преимущества, которые широко описаны в недавней литературе:
- Достижение обобщения, при котором ваша модель может стабильно работать, несмотря на необходимость предсказывать ранее невидимый набор данных, потому что мы встроили в него «знания».
- Достижение объяснимости, где вы могли бы обеспечить понимание и согласованность моделей машинного обучения, которые в противном случае были бы «черными ящиками», потому что физическая формула предсказуема.
Как затем совместить физику с нашими моделями машинного обучения? Что ж, в этой области есть некоторые достижения, и большую часть интеграции можно сгруппировать в три основные категории:
- Физическая модель вместо одного или нескольких модулей на основе машинного обучения.
В эту категорию вы включаете формулировку физики как часть более крупной модели на основе машинного обучения. Например, формулировка Physical может изменять параметры input, управлять промежуточным встраиванием или даже ограничивать прогноз output, как показано на рисунке ниже. .
2. Физическая модель, которая наказывает физически несовместимые результаты
Представьте себе более ранний тривиальный случай с предсказанием количества голов, которое собирается забить звездный футболист. Если результат ниже нуля (т.е. физически невероятный), то модель может сильно ухудшить этот прогноз. Это необходимо для того, чтобы модель «училась» должным образом объяснениям, которые физически согласуются с природой (например, температура не может опускаться ниже 0 Кельвина, скорость не может превышать скорость света и т. Д.).
3. ML для параметризации физической модели
Некоторые задачи, такие как задача прогнозирования климатических переменных (например, осадки и т. Д.), Требуют больших вычислительных ресурсов. Большинство основанных на физике моделей климата имеют тенденцию иметь глобальный масштаб с очень низким пространственным разрешением (например, 25 км на 25 км площади на единицу пикселя).
Представьте себе сценарий, в котором вам нужно предсказать, когда произойдет следующее наводнение в вашем районе? Что ж, вы могли бы использовать подход, основанный исключительно на данных, при наличии достаточного количества исторических данных. Но вы также можете использовать физическую модель, которая связывает ваш прогноз с тем, что происходит на региональном / глобальном уровне (потому что климатические явления, что неудивительно, взаимосвязаны).
Одним из решений было бы запустить вашу основанную на физике модель, но вы параметризуете некоторые из ее более затратных в вычислительном отношении переменных (например, осадков) с помощью машинного обучения.
Давайте посмотрим, как эту концепцию можно воплотить в реальных примерах.
Применение: температура в озере
В [1] авторы пытаются смоделировать температуру воды в озере, объединив физические принципы и рекуррентную нейронную сеть (RNN). Однако проблема заключается в недостаточной доступности обучающих данных, что может привести к тому, что любая управляемая данными модель машинного обучения не будет работать так же хорошо.
Вот где физика могла бы восполнить пробел.
Во-первых, в документе интегрируется физическая модель в RNN. Модель отражает принципы энергосбережения, при которых чистый ввод энергии нагревает озеро и наоборот, в RNN, как показано на рисунке ниже.
Во-вторых, это физическое явление сохранения энергии используется для наказания за предсказания, не соответствующие этому закону.
Где окончательная функция потерь получается из сложения потерь из типичного модуля RNN и принципа энергосбережения.
Гибридная модель RNN, управляемая физикой (PGRNN), обеспечивает повышение производительности почти на 20% по сравнению с голой моделью RNN. Это показывает, как модели машинного обучения на основе физики могут улучшить базовый уровень, подчиняясь реальному физическому миру.
Мысли на прощание
Я считаю, что в будущем машинное обучение станет «умнее», если мы продолжим кодировать в него наши знания предметной области. В каких еще областях, по вашему мнению, могут преуспеть модели машинного обучения на основе физики?
Подпишитесь на мою информационную рассылку по электронной почте: https://tinyurl.com/2npw2fnz , где я регулярно резюмирую исследовательские работы по ИИ на простом английском языке и в красивой визуализации.
