pymongo — выполнение параллельных запросов

Вот псевдокод, который я хотел бы распараллелить, но не знаю, с чего начать

from pymongo import MongoClient


client = MongoClient('localhost', 27017)
db = client['myDB']
collection = db.myCollection

test_list = ['foo', 'bar']
result_list = list()

for el in test_list:
     result_list.append(collection.distinct('attrib',{'version': el}))

Я знаю, как создать параллельный цикл с помощью joblib, но я не уверен, как параллельно запрашивать MongoDB, должен ли я создавать несколько клиентов или коллекций? Будет ли приведенный выше код работать, если я просто перепишу его с помощью joblib, не заботясь о MongoDB?


parallel-processing pymongo joblib
person user1700890    schedule 31.08.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Вы можете запускать запросы в отдельных потоках:

from multiprocessing.dummy import Pool as ThreadPool 

from pymongo import MongoClient


client = MongoClient('localhost', 27017)
db = client['myDB']
collection = db.myCollection

thread_pool_size = 4
pool = ThreadPool(thread_pool_size) 

def my_function(el):
    return collection.distinct('attrib', {'version': el}))

test_list = ['foo', 'bar']
result_list = pool.map(my_function, test_list)
person wowkin2    schedule 30.08.2018