Пакетная нормализация была представлена ​​в статье Сергея Иоффе и Кристиана Сегеди 2015 года Пакетная нормализация: ускорение обучения глубокой сети за счет уменьшения внутреннего ковариатного сдвига . Идея состоит в том, что вместо того, чтобы просто нормализовать входные данные для сети, мы нормализуем входные данные для слоев сети. Это называется пакетной нормализацией, поскольку во время обучения мы нормализуем входные данные каждого слоя, используя среднее значение и дисперсию..