Как оценить время выполнения при использовании scipy.optimize?

Я работаю над скриптом Python, который использует функцию minimize() из scipy.optimize. Скрипт работает нормально, но он относительно медленный, и я пытаюсь понять, как (а) выяснить, на что тратится время), чтобы я мог (б) ускорить его.

Мой текущий эталон для «медленного». У меня есть набор данных объектов, где каждый объект содержит ~ 5000 образцов (т. Е. Мне нужно minimize() 5000 раз на объект. У меня примерно 2000 объектов. Мое текущее время выполнения варьируется между 35-45 секундами на объект поэтому я смотрю на общее время выполнения 80 000 секунд (или 22,2 часа). Было бы хорошо, если бы это был единичный случай, но это то, что требует тестирования нескольких моделей и т. д. Поэтому мне нужно получить время выполнения. вниз.

Основная часть скрипта выглядит следующим образом:

###Initializing Export Arrays
Vmin1 = np.array([])
Vmin2 = np.array([])
Vmin3 = np.array([])
Vmin4 = np.array([])
Vmin5 = np.array([])
Vmin6 = np.array([])
Vclay = np.array([])
Vker = np.array([])


###Initial Estimate
x0 = np.array([0.5, 0.1, 0.1, 0.0, 0.01, 0.07, 0.2, 0.02,])
bounds = ((0,1), (0,1), (0,1), (0,1), (0,1), (0,1), (0,1), (0,1)) 

C =np.array([[rhob_Vmin1, rhob_Vmin2, rhob_Vmin3, rhob_Vmin4, rhob_Vmin5, rhob_Vmin6, rhob_Vclay, rhob_Vker],
              [nphi_Vmin1, nphi_Vmin2, nphi_Vmin3, nphi_Vmin4, nphi_Vmin5, nphi_Vmin6, nphi_Vclay, nphi_Vker],
              [pe_Vmin1, pe_Vmin2, pe_Vmin3, pe_Vmin4, pe_Vmin5, pe_Vmin6, pe_Vclay, pe_Vker],
              [dt_Vmin1, dt_Vmin2, dt_Vmin3, dt_Vmin4, dt_Vmin5, dt_Vmin6, dt_Vclay, dt_Vker],
              [0,0,0,0,0,0,1,0],
              [0,0,0,0,0,0,0,1],
              [1,1,1,1,1,1,1,1]])


def mineral_inversion(x, L, C):
    L_pred = np.matmul(C, x)
    if not np.isnan(L[0][0]):
        I1 = (np.subtract(L[0][0], L_pred[0])/unc_rhob)**2
    else:
        I1=0
    if not np.isnan(L[0][1]):
        I2 = (np.subtract(L[0][1], L_pred[1])/unc_nphi)**2
    else:
        I2 = 0
    if not np.isnan(L[0][2]):
        I3 = (np.subtract(L[0][2], L_pred[2])/unc_pe)**2
    else:
        I3 = 0
    if not np.isnan(L[0][3]):
        I4 = (np.subtract(L[0][3], L_pred[3])/unc_dt)**2
    else:
        I4 = 0
    if not np.isnan(L[0][4]):
        I5 = (np.subtract(L[0][4], L_pred[4])/unc_vwcl)**2
    else:
        I5 = 0
    if not np.isnan(L[0][5]):
        I6 = (np.subtract(L[0][5], L_pred[5])/unc_vker)**2    
    else:
        I6 = 0
    I7 = ((1-x.sum())/unc_unity)**2

    incoherence = I1+I2+I3+I4+I5+I6+I7
    return incoherence   

from datetime import datetime
t0 = datetime.now()
vpor_init = np.float(0.1)

for dd in range(len(depth)):

    ###Log values used in mineral inversion + unity value
    L = np.array([[rhob[dd], nphi[dd], pe[dd], dt[dd], vwcl[dd], vkero[dd], 1]])

    res = minimize(fun = mineral_inversion, x0 = x0, args = (L, C), bounds=bounds, method='SLSQP')
    Vmin1 = np.append(Vmin1, res.x[0])
    Vmin2 = np.append(Vmin2, res.x[1])
    Vmin3 = np.append(Vmin3, res.x[2])
    Vmin4 = np.append(Vmin4, res.x[3])
    Vmin5 = np.append(Vmin5, res.x[4])
    Vmin6 = np.append(Vmin6, res.x[5])    
    Vclay = np.append(Vclay, res.x[6])
    Vker = np.append(Vker,   res.x[7])

t1 = datetime.now()
time = t1-t0
print('Run Time: ', time)

В настоящее время я регистрирую время выполнения на уровне цикла for. Однако это мало что говорит мне о том, где может быть мое узкое место. На уровне ли функции mineral_inversion(), в самой ли функции minimize() и т.д.

Вопросы: (1) Как я могу разумно регистрировать время выполнения, чтобы выяснить, возможно ли его ускорение? (2) Что было бы справедливым способом заявить, действительно ли это «медленно» или я просто неразумен, и мне нужно перебрать много образцов? (3) Есть ли какие-либо очевидные плохие практики/ловушки скорости, которые я использовал?


person user1563247    schedule 02.11.2019    source источник
comment
Вы пробовали «время» для регистрации времени выполнения? import time since = time.time() # DO YOUR THING time_elapsed = time.time() - since print('\t{:.0f}m {:.0f}s'.format(time_elapsed // 60, time_elapsed % 60))   -  person Jingles    schedule 02.11.2019
comment
Да. Если вы посмотрите на код, я делаю почти то же самое на уровне цикла.   -  person user1563247    schedule 03.11.2019


Ответы (1)


пытаясь выяснить, как (а) выяснить, где тратится время

Используйте модуль pstats из стандартной библиотеки для профилирования на уровне функций и kernprof для профилирования на уровне строк.

В блокноте jupyter это %prun и %lprun magic.

person ev-br    schedule 02.11.2019