Нейронные сети в метеорологическом прогнозировании текущей погоды

Изучение эффекта передачи других метеорологических данных в нейронные сети для экстраполяции радиолокационного эхосигнала.

Все были в ситуации, когда на горизонте появлялись тучи, гадали, пойдет ли дождь. Хотя промокнуть неудобно и, возможно, даже опасно для людей в случае шторма, эти вопросы о приближающихся облаках могут стать в некоторых сценариях решающими. Одним из примеров для всех является область воздушного движения, где суровые погодные условия влияют на транспорт и могут одновременно угрожать многим людям.

В таких случаях метеорологические радары могут оказаться большим подспорьем благодаря их способности комплексно отображать осадки в реальном времени. Хотя описание текущей ситуации помогает, способность видеть развитие событий в ближайшем будущем еще больше улучшает задачи планирования и предотвращения. Эти краткосрочные прогнозы погоды получили название прогнозов текущей погоды, и в последние годы в этой области ведутся активные исследования.

В метеорологическом прогнозировании текущей погоды (также называемом экстраполяцией эхо-сигналов метеорологического радара) первые методы были основаны на оптическом потоке - векторах, описывающих движение отдельных пикселей в последующих кадрах. COTREC представляет собой один из этих методов, который до сих пор широко используется, несмотря на его 30-летнюю историю. Единственная доступная в настоящее время в Чешской Республике система прогнозирования текущей погоды основана на ней.

Однако исследователи разрабатывают новейшие подходы с различными архитектурами нейронных сетей. Эти алгоритмы машинного обучения могут использовать огромный объем данных, измеренных за последние десятилетия, и хорошо справляться с неопределенностью. Неопределенность в отношении осадков в будущем значительна из-за того, что на осадки влияет не только их недавнее развитие, но и несколько физических величин атмосферы, таких как давление, температура, направление и скорость ветра или влажности. Тем не менее, в большинстве исследований задача экстраполяции радарного эхо-сигнала рассматривается как прогнозирование кадров видео с помощью статической камеры и динамического движения перед ней.

Мое исследование преследует две цели. Первый - изучить влияние добавления дополнительной информации об атмосфере и других влияющих аспектах модели прогнозирования на ее характеристики. Во-вторых, отсутствие надлежащей системы прогнозирования текущей погоды в Чешской Республике создает возможность публиковать реальные прогнозы созданной модели и качественно оценивать их широкой общественностью в стране. Эта оценка может показать, коррелируют ли используемые метрики с тем, как люди используют данные метеорологических радиолокаторов.

Фон

Метеорологические радары измеряют интенсивность атмосферных осадков на расстоянии, посылая электромагнитные лучи в любое место и улавливая отражения. Каждый объект с электрически ведущей поверхностью, которая относится и к каплям воды, отражает обратно эти электромагнитные лучи. Радар считывает все эти отражения, которые немного различаются для каждого типа объекта. После фильтрации сигналов от птиц, самолетов, земли и всего остального можно отобразить изображение, подобное приведенному ниже.

Чаще всего измерения метеорологического радара отображаются в dBZ. Он обозначает децибелы относительно Z и представляет собой безразмерную логарифмическую величину. dBZ получается путем логарифма коэффициента отражения радара объекта и коэффициента отражения капли дождя диаметром 1 мм.

В Чехии две сети радаров. Один из Чешского гидрометеорологического института может производить эти изображения один раз в 10 минут. Другой, построенный компанией Meteopress, состоит из большего количества различных менее мощных радаров и создает изображения с интервалом в 1 минуту.

Краткие характеристики используемых сетей.

Нейронные сети, используемые для радара и экстраполяции эхо-сигналов, в основном используют две концепции машинного обучения.

Сверточные нейронные сети (CNN), как правило, состоят из слоев, которые перемещают изученный фильтр, выполняя некоторые арифметические операции над каждой областью ввода. Примечания к курсу из Стэнфорда могут служить учебным пособием.

Рекуррентные нейронные сети (RNN) обрабатывают входные данные последовательно. В нашем случае это последовательность последующих снимков метеорадара. Наиболее часто используемая RNN называется LSTM и подробно описана в блоге колы.

Метрика оценки

Самыми основными показателями, используемыми в машинном обучении, являются средняя абсолютная ошибка (MAE) и среднеквадратичная ошибка (MSE). Соответственно, они основаны на расстоянии Минковского первого и второго порядка. Однако это сравнение пикселей за пикселями не сообщает ожидаемой информации о том, идет ли дождь в прогнозируемых местах.

Поэтому в литературе по прогнозированию текущей погоды часто используется индекс критического успеха (CSI). Как прогнозные, так и наземные изображения сначала преобразуются в двоичные матрицы, указывающие, идет ли дождь в конкретном пикселе, в соответствии с некоторой минимальной интенсивностью дождя. После этого подсчитывается количество попаданий, промахов и ложных срабатываний. CSI имеет форму
CSI = совпадения / (совпадения + промахи + ложные срабатывания).

Связанных с работой

Моя текущая работа в основном основана на моей бакалаврской диссертации [1], которую я написал на факультете информационных технологий ЧТУ в Праге. В своей диссертации я смотрю на экстраполяцию эхо-сигнала радара исключительно как на предсказание видеокадров. Я предлагаю простую, полностью сверточную сеть (каждый слой имеет форму фильтра, наложенного на каждую позицию ввода). Он принимает в качестве входных данных три последовательных изображения метеорологического радиолокатора, объединенных в размерность цветового канала, и был обучен предсказанию следующего кадра. Я выбрал индекс структурного сходства SSIM в качестве метрики оценки и оценил модель на наборе данных, созданном из изображений метеорологического радиолокатора над Чешской Республикой. Выбор SSIM вызывает сомнения в свете более поздних исследований, но результаты показывают, что даже простой CNN может превзойти COTREC.

Сверточный LSTM

Авторы в [2] формулируют задачу как задачу прогнозирования пространственно-временной последовательности (относящейся как к пространству, так и к времени). В традиционной сети LSTM обучаемые части являются полносвязными (FC) уровнями. В то время как модели кодер-декодер, основанные на LSTM, хорошо работают во многих задачах моделирования последовательности (например, распознавание речи), уровни FC изо всех сил пытаются уловить пространственно-временные корреляции из изображений из-за большого количества неструктурированных параметров. В качестве решения авторы представляют сеть ConvLSTM, которая стала основой для многих более поздних моделей прогнозирования текущей погоды. Вообще говоря, они заменили слои FC в ячейках LSTM на сверточные с трехмерными тензорами, проходящими через сеть. В наборе данных эхосигнала радара ConvLSTM показал лучшие результаты, чем алгоритм LSTM и ROVER [5] (современный алгоритм прогнозирования текущей погоды в оптическом потоке).

Современная модель

Авторы построили современную архитектуру на ячейках ConvLSTM в [3]. Суть состоит в том, чтобы перераспределить информационный поток между конкретными ячейками ConvLSTM в архитектуре кодер-декодер, чтобы сформировать информационный мост в форме звезды.

Более того, авторы заменяют часто используемую пакетную нормализацию (BN) на групповую нормализацию [4] (GN). В задачах обработки изображений размер данных, передаваемых на вход, резко ограничивает возможное количество выборок в минипакете. Как следствие, это также ограничивает производительность BN. С другой стороны, GN группирует каналы входного тензора в группы и вычисляет необходимое среднее значение и дисперсию по ним. Сообщенная разница в производительности этих методов нормализации значительна.

Наконец, для обучения авторы используют множественную сигмовидную потерю, которая имитирует недифференцируемую оценку CSI. Созданная модель соответствует последнему слову техники в их наборе данных радарного эхосигнала в Восточном Китае.

Первые результаты

Как я упоминал выше, будущее развитие осадков зависит от многих аспектов. Предоставление некоторой информации об этих аспектах модели машинного обучения для прогнозирования текущей погоды с помощью радиолокационных эхосигналов теоретически может привести к повышению производительности. Наиболее доступными данными, которые можно добавить в сеть, является высотный профиль области, просматриваемой радаром. Я использую его в виде изображений с теми же размерами, что и входные метеорологические радары. Каждый пиксель обозначает высоту в этом месте, которая представляет собой высоту в метрах над уровнем моря, масштабированную с делением на 2000.

Нейронная сеть, используемая для первоначального тестирования, представляет собой полностью сверточную сеть, полученную на основе той, что была предложена в моей бакалаврской диссертации. Единственная разница в формате ввода и вывода. Глубина входного трехмерного тензора равна 4 - последние три последовательных изображения метеорологического радиолокатора и высотный профиль сканируемой области. Используя MAE в качестве функции потерь, сеть обучается предсказывать сразу три следующих кадра.

Набор данных

Набор данных, используемый для обучения и оценки моделей, создается на основе данных метеорологического радара, фиксирующего осадки над Чешской Республикой, которые были предоставлены компанией по прогнозированию погоды Meteopress. Изображения RGB были декодированы в dBZ и масштабированы до [0,1]. После этого я обрезал последовательности входных изображений 320x320 из серии полных кадров и удалил те, у которых менее 10% площади покрыто дождем. Остальные были разбиты на ряды по 24 кадра. Увеличение данных во время обучения происходит в два этапа. Во-первых, начальная точка более короткой последовательности, используемой для обучения, выбирается случайным образом, а затем она также случайным образом вращается.

Эффект от добавления отметки к входу

Я сравнил сеть с информацией о высоте и без нее с оценкой CSI. Обе модели обучались для одних и тех же 15 эпох, руководствуясь функцией потерь MAE.

На графике отображается значение CSI для различных пороговых значений интенсивности дождя. Это означает, что добавление данных о высоте всегда улучшает производительность. Возникает феномен уменьшения индекса с повышением порога. Такое поведение вызвано тем, что области с более сильными осадками меньше по размеру и, следовательно, их труднее предсказать.

Следующие шаги

Достижение хороших результатов в количественной оценке - это лишь одна сторона медали. Другой - качественная оценка общественностью, которая судит по реальной юзабилити созданного решения. Имея это в виду, текущая версия прогнозов будет вскоре опубликована на веб-страницах Meteopress. Оценка, полученная на основе отзывов пользователей, будет служить базой для тестирования следующих моделей таким же образом.

Модель, описанная в этом блоге, довольно проста. Следующим шагом является повторная реализация современного StarBriNet и обучение его на созданном наборе данных. Опять же, прогнозы завершенной реализации будут опубликованы и публично оценены. Наконец, я исследую эффект добавления дополнительных данных, описывающих состояние атмосферы и местоположения в StarBriNet, и попытаюсь улучшить производительность этой современной сети в моем наборе данных.

В случае успеха созданная модель будет доступна в Интернете и будет использоваться для прогнозов текущей погоды в Чешской Республике.

Ссылки

[1] Чома, Матей. Интерполяция и экстраполяция последующих изображений метеорологических радиолокаторов. Диссертация на степень бакалавра. Чешский технический университет в Праге, факультет информационных технологий, 2019.

[2] Ши, X., Чен, Z., Wang, H., Yeung, D., Wong, W., & Woo, W. Сверточная сеть LSTM: подход машинного обучения для прогнозирования осадков. ArXiv, абс. / 1506.04214. 2015 г.

[3] Цао, Ю., Ли, К., Чен, Л., Чжан, Дж., И Ма, Л. Видео-прогнозирование осадков для прогнозирования текущей погоды. ArXiv, abs / 1907.08069. 2019.

[4] Ву, Ю., Хе, К .: Групповая нормализация. ECCV. 2018 г.

[5] Woo, W.C., Wong., W.K. Применение методов оптического потока для прогнозирования текущей погоды. В 27-й конференции по сильным местным штормам. 2014.

См. Больше Сообщения блога об исследованиях FIT CTU.