Как повысить производительность автоматического дифференцирования?

Мне трудно оптимизировать программу, которая по большей части использует функцию ads conjugateGradientDescent.

По сути, мой код представляет собой перевод кода старых документов, написанного на Matlab и C. Я не измерял, но этот код выполняется с частотой несколько итераций в секунду. У меня порядка минут на итерацию...

Код доступен в этих репозиториях:

• https://github.com/fhaust/aer
• https://github.com/fhaust/aer-utils

Рассматриваемый код можно запустить, выполнив следующие команды:

$ cd aer-utils
$ cabal sandbox init
$ cabal sandbox add-source ../aer
$ cabal run learngabors

Используя средства профилирования GHC, я подтвердил, что спуск на самом деле является той частью, которая занимает большую часть времени:

(интерактивная версия здесь: https://dl.dropboxusercontent.com/u/2359191/learngabors.svg)

-s говорит мне, что производительность довольно низкая:

Productivity  33.6% of total user, 33.6% of total elapsed

Из того, что я собрал, есть две вещи, которые могут привести к более высокой производительности:

• Распаковка: в настоящее время я использую пользовательскую реализацию матрицы (в src/Data/SimpleMat.hs). Это был единственный способ заставить ad работать с матрицами (см. выполнять автоматическое дифференцирование по hmatrix?). Я предполагаю, что использование матричного типа, такого как newtype Mat w h a = Mat (Unboxed.Vector a), позволит добиться лучшей производительности за счет распаковки и слияния. Я нашел какой-то код, который имеет ad экземпляров для распакованных векторов, но до сих пор я не смог использовать их с conjugateGradientFunction.

• Матричные производные: в письме, которое я просто не могу найти в данный момент, Эдвард упоминает, что было бы лучше использовать Forward экземпляров для типов матриц вместо того, чтобы матрицы заполнялись Forward экземплярами. У меня есть смутное представление о том, как этого добиться, но мне еще предстоит выяснить, как реализовать это с точки зрения классов типов ads.

Вероятно, это слишком широкий вопрос, чтобы на него можно было ответить на SO, поэтому, если вы хотите помочь мне здесь, не стесняйтесь обращаться ко мне на Github.