Понимание ML Понимание позиционного кодирования в трансформаторах Визуализация метода позиционного кодирования из моделей Transformer. Что такое позиционное кодирование? Как я объяснял в Введение в механизм внимания , внимание не заботит положение входных данных. Чтобы решить эту проблему, мы должны ввести так называемое позиционное кодирование . Эта кодировка описана в оригинальном документе Внимание - все, что вам нужно и добавляется к каждому входу (не объединяется, а..

В этом посте рассматриваются некоторые сходства в том, как в области глубокого обучения решаются две, казалось бы, разные проблемы, а именно А) недавняя работа над нейронными сетями с самостоятельным вниманием («трансформеры»), которая устраняет один из их самых больших недостатков, квадратичные вычисления. сложность по отношению к набору входных элементов и B) работа по развязке емкости и объема памяти в рекуррентных нейронных сетях. Вкратце о содержании поста: Емкость и размер..