Влияют ли GIL на «локальные [n]» приложения pyspark?

Обычно python плохо работает с многопоточностью из-за глобальной блокировки интерпретатора.

Влияет ли это также на приложения pyspark, работающие в многопоточном локальном режиме (local[n])?


python apache-spark pyspark gil
person Ophir Yoktan    schedule 04.06.2015    source источник

Ответы (1)


arrow_upward
4
arrow_downward

Распараллеливание в pyspark достигается за счет вызова daemon.py os.fork() для создания нескольких рабочих процессов, поэтому проблем с GIL не будет.

person user2303197    schedule 04.06.2015