В этой части блога я больше сосредоточусь на инструментах глубокого обучения, которые могут помочь в выполнении задач эконометрики. Начнем с рекуррентных нейронных сетей или RNN.
RNN может использоваться для анализа временных рядов. RNN принимает выходные данные уровня и передает их обратно в тот же уровень. Обычно у нас есть только один слой во всей сети, однако, поскольку процесс подачи происходит в разные периоды времени, мы можем рассматривать один слой как композицию из нескольких слоев в разные периоды времени. Давайте проясним концепцию с помощью рисунка.
На приведенном выше рисунке h (в разные периоды времени) представляет выход, а X (в разные периоды времени) показывает входы. Теперь последовательность, которую мы видим слева направо, относится к разным периодам времени, но используемый слой - только один. Выходные данные в любой период времени используются в качестве входных данных в следующем периоде времени и в том же слое.
Основным преимуществом RNN является то, что она может принимать последовательность значений в качестве входных данных и может выводить последовательность значений. Если мы сложим вместе множество RNN, мы снова столкнемся с проблемой исчезающего градиента. Решением этого является метод стробирования, который мы не будем здесь обсуждать.
Другая нейронная сеть, которая может использоваться для эконометрических методов, включает автоэнкодеры, которые являются разновидностью RBM (ограниченная машина Больцмана). Автоэнкодеры помогают выяснить базовую структуру набора данных.
Автоэнкодеры кодируют немаркированные входы, которые могут быть декодированы для формирования точного вывода. Мы пытаемся минимизировать узлы (см. Рисунок ниже) в скрытом слое, и в то же время мы хотим сохранить информацию, доступную во входных данных.
Автоэнкодеры зарекомендовали себя в применении анализа главных компонентов, и исследования доказали, что они работают лучше, чем традиционные методы.
(Вводные блоги были написаны, чтобы дать краткое представление о методах глубокого обучения. В следующем блоге я более подробно расскажу о сравнении RNN с другими методами временных рядов и автоэнкодерами и их производительностью по сравнению с традиционными методами)
