Расчет количества параметров в модуле и слое LSTM
LSTM - это тип рекуррентной нейронной сети, которая широко используется в задачах обработки естественного языка. Архитектура модуля LSTM сложна для освоения.
Было бы больше уверенности в понимании параметров слоя, который мы используем в нашей модели. Итак, в этом блоге мы рассмотрим, как рассчитываются параметры для слоя LSTM.
В приведенном ниже примере мы использовали уровень LSTM из 100 единиц, и мы видим, что ниже на бэкэнде задействовано 53200 параметров. К концу этого блога мы сможем раскрыть, что это за параметры 53200.
Функции в модуле LSTM: -
Параметры в модуле LSTM связаны с функциями, участвующими в вычислении. Итак, давайте рассмотрим функции, задействованные в модуле LSTM.
Ячейка LSTM имеет четыре функциональных блока -
- 3 сигмоида (функции f, i, o ниже)
- 1 Тан (функция c ниже)
Мы можем обобщить все эти 4 функции -
Sig / tanh (W.x + U.h + b)
Где W, U, b - параметры, x - входные данные, а h - значения скрытого слоя, рассчитанные с использованием вышеуказанных параметров.
Используя формулу 4 * (n + m + 1) * m, количество параметров в приведенном ниже примере будет 4 * (32 + 100 + 1) * 100 = 4 * 133 * 100 = 53200.
Надеюсь, вы смогли получить четкое представление о параметрах, задействованных в слое LSTM. Пожалуйста, не стесняйтесь делиться своими комментариями и дайте мне знать, если вы хотите прочитать статью на любую другую тему.
Ссылки: -
Https://www.youtube.com/watch?v=l5TAISVlYM0&feature=youtu.be
