Ошибка с OMP_NUM_THREADS при использовании распределенного dask

Я использую распространенный фреймворк для параллельных вычислений. В этом случае мой основной вариант использования - NumPy. Когда я включаю код NumPy, который полагается на np.linalg, я получаю ошибку с OMP_NUM_THREADS, которая связана с библиотекой OpenMP < / а>.

Минимальный пример:

from distributed import Executor
import numpy as np
e = Executor('144.92.142.192:8786')

def f(x, m=200, n=1000):
    A = np.random.randn(m, n)
    x = np.random.randn(n)
    #  return np.fft.fft(x)  # tested; no errors
    #  return np.random.randn(n)  # tested; no errors
    return A.dot(y).sum()  # tested; throws error below

s = [e.submit(f, x) for x in [1, 2, 3, 4]]
s = e.gather(s)

Когда я тестирую linalg, e.gather завершается неудачно, поскольку каждое задание выдает следующую ошибку:

OMP: Error #34: System unable to allocate necessary resources for OMP thread:
OMP: System error #11: Resource temporarily unavailable
OMP: Hint: Try decreasing the value of OMP_NUM_THREADS.

Что я должен установить для OMP_NUM_THREADS?


python numpy cluster-computing dask
person Scott    schedule 10.09.2016    source источник

Ответы (2)


arrow_upward
24
arrow_downward

Короткий ответ

export OMP_NUM_THREADS=1

or 

dask-worker --nthreads 1

Объяснение

Переменная среды OMP_NUM_THREADS контролирует количество потоков, которые многие библиотеки, включая BLAS библиотеку, использующую numpy.dot, используют в своих вычислениях, например умножение матриц.

Конфликт здесь в том, что у вас есть две параллельные библиотеки, вызывающие друг друга, BLAS и dask.distributed. Каждая библиотека предназначена для использования столько потоков, сколько логических ядер доступно в системе.

Например, если у вас восемь ядер, то dask.distributed может запускать вашу функцию f восемь раз одновременно в разных потоках. Вызов функции numpy.dot в f будет использовать восемь потоков на вызов, в результате чего одновременно будет выполняться 64 потока.

На самом деле это нормально, вы столкнетесь с падением производительности, но все может работать правильно, но это будет медленнее, чем при одновременном использовании всего восьми потоков, либо путем ограничения dask.distributed, либо путем ограничения BLAS.

В вашей системе, вероятно, OMP_THREAD_LIMIT установлено какое-то разумное число, например 16, чтобы предупредить вас об этом событии, когда оно произойдет.

person MRocklin    schedule 10.09.2016

arrow_upward
1
arrow_downward

Если вы используете MKL blas, вы можете также получить некоторые улучшения, используя слой потоковой передачи TBB. У меня на самом деле не было возможности попробовать это, так что YMMV.

http://conference.scipy.org/proceedings/scipy2018/anton_malakhov.html

person Dave Hirschfeld    schedule 20.02.2019