Распределенная (многоустройственная) реализация моделей последовательностей в TensorFlow?

Вот очень хороший учебник по обучению модель последовательностей в TensorFlow. Мне просто интересно узнать, существует ли распределенная версия, которая использует набор графических процессоров на одной машине для повышения производительности?

В белой книге TensorFlow упоминалось, что можно обучить большую многослойную рекуррентную нейронную сеть ( См. Рисунок 8 и раздел "Моделирование параллельного обучения", как используется в Последовательное обучение с помощью нейронных сетей. Кто-нибудь знает, охватывает ли текущий учебник модель параллельного обучения? Если нет, как улучшить исходное руководство, чтобы использовать набор графических процессоров?


tensorflow lstm recurrent-neural-network multi-gpu gpgpu
person AmirHJ    schedule 03.03.2016    source источник

Ответы (2)


arrow_upward
1
arrow_downward

В этом примере рассматривается обучение работе с несколькими графическими процессорами https://www.tensorflow.org/versions/r0.11/tutorials/deep_cnn/index.html#training-a-model-using-multiple-gpu-cards

По сути, чтобы использовать несколько графических процессоров, вы должны использовать встроенную область видимости tensorflow, чтобы явно указать, на каком устройстве работать. Вы можете запустить несколько графических процессоров параллельно, а затем использовать какое-то устройство для суммирования результатов. Это включает в себя множество областей видимости тензорного потока, которые должны быть выполнены явно. Таким образом, чтобы использовать gpu 0, у вас может быть вызов, подобный этому:

        with tf.device("/gpu:0"):
            #do your calculations

а затем где-то еще в вашем коде у вас есть шаг синхронизации:

        with tf.device(aggregation_device):
            #make your updates

Ссылка объясняет это довольно хорошо, но, надеюсь, это поможет вам начать

person jon    schedule 17.10.2016

arrow_upward
0
arrow_downward

Проверьте это: https://github.com/shixing/xing_rnn/tree/master/Seq2Seq

он реализует модель seq2seq на основе внимания, которая может размещать каждый слой на разных графических процессорах.

person Xing Shi    schedule 29.08.2017