Перебрать словарь и вернуть все ключи и значения в обновленной форме, используя модуль многопроцессорности в python.

Вот быстрый Proof-o'-Concept, который я провел:

from multiprocessing import Pool

m = {
  'a': [ 1,2 ] ,
  'b': [ 3,4 ] ,
  'c': [ 5,6 ] ,
}

def f(x):
    return (x,m[x][0] + m[x][1])

if __name__ == '__main__':
    p = Pool(5)
    print(p.map(f, m.keys() ))

Программа выше (как вы можете видеть, это производная работа от примера, приведенного в 16.6. многопроцессорная страница ) добавит числа в простые списки в моем примерном словаре m, чтобы получить следующий результат:

[('a', 3), ('c', 11), ('b', 7)]

В общем, я предполагаю, что если вы упростите использование многопроцессорного модуля, чтобы использовать карту вместо apply_async, вам будет легче.

Соединяя точки, вот фрагмент:

from multiprocessing import Pool,Manager

def extension(x):  # Function that is called during multiprocessing.
    # do some function on each element like  [[1,2],[2,2]], [[3,5],[5,5]], [[1,1],[1,2]], [[3,3],[3,5]], [[4,6],[6,6]]
    # ** MISTAKE : Not getting elements here for processing along with it's corresponding key **
    #print x,"\t\n"
    #print x # should have the key
    #print motif[x] # clearly has the value
    return (x,motif[x])

if __name__ == "__main__":
    # Dictionary with list of list of parameters:
    motif={'1S-2C,2C-2C':[ [[1,2],[2,2]], [[3,5],[5,5]], [[4,6],[6,6]] ],'1S-1S,1S-2C': [ [[1,1],[1,2]], [[3,3],[3,5]] ] }
    p = Pool(4)  # Setting up the number of CPU's to use.

    returnMotif = dict( p.map( extension , motif.keys() ) )

    p.close()
    p.join()

    print returnMotif

Предостережение: мне не ясно, что доступ только для чтения к мотиву словаря является потокобезопасным. В java-приложении, которое я когда-то написал, HashMap, который я использовал, обновлялся каждый раз, когда его читали, поскольку он поддерживал связанный список для отслеживания наименее недавно использовавшихся.

Хорошо, второе предостережение: код в функции расширения ни в коем случае не должен изменять словарь мотивов. Ключи не должны добавляться или удаляться наверняка.

На основе недавнего комментария ANJALY (25 марта 2017 г.) приведен обновленный фрагмент кода, обеспечивающий желаемое поведение. На самом деле это не имеет ничего общего с асинхронной обработкой, поэтому я оставлю приведенный выше код и опубликую новый фрагмент ниже:

from multiprocessing import Pool,Manager
def modify(x,i):
    i.append([0,0])
    modX = x+',3S-3S'
    #print modX,"\t",i,"\n**\n"
    return (modX,i)

def extension(x):  # Function that is called during multiprocessing.
    # do some function on each element like  [[1,2],[2,2]], [[3,5],5,5]], [[1,1],[1,2]], [[3,3],[3,5]], [[4,6],[6,6]]. Let it be the function 'modify()'
    #print x # should have the key
    #print motif[x] # clearly has the value
    alltemps=[]
    for  i in motif[x]:
        (newX,temp) = modify(x,i)
        alltemps.append(temp)
    return (newX,alltemps)
if __name__ == "__main__":
    # Dictionary with list of list of parameters:

    motif={'1S-2C,2C-2C':[ [[1,2],[2,2]], [[3,5],[5,5]], [[4,6],[6,6]] ],'1S-1S,1S-2C': [ [[1,1],[1,2]], [[3,3],[3,5]] ] }
    p = Pool(4)  # Setting up the number of CPU's to use.

    returnMotif = dict( p.map( extension , motif.keys() ) )

    p.close()
    p.join()
print returnMotif

В приведенном выше коде я добавил локальную переменную (очень важно, чтобы переменная была локальной в многопроцессорной среде) для сбора результатов. Я также переместил оператор return из цикла (я превзошел его).