Панды Python: как векторизовать эту функцию

Один из подходов к векторизации, использующий только pandas, заключается в декартовом соединении между двумя кадрами и подмножеством. Начал бы так:

df['dummy'] = 1
evol['dummy'] = 1
combined = df.merge(evol, on='dummy')
# filter date ranges, multiply etc

Это, вероятно, будет быстрее, чем то, что вы делаете, но память неэффективна и может взорваться на ваших реальных данных.

Если вы можете принять зависимость от numba, что-то вроде этого должно быть очень быстрым - по сути, скомпилированная версия того, что вы делаете сейчас. Нечто подобное было бы возможно и в cython. Обратите внимание, что для этого требуется, чтобы фрейм данных evol был отсортирован и непрерывен по годам, что может быть смягчено модификацией.

import numba

@numba.njit
def f(data, year_final, year_init, evol_year, evol_factor):
    data = data.copy()
    for i in range(len(data)):
        year_pos = np.searchsorted(evol_year, year_init[i])
        n_years = year_final[i] - year_init[i]
        for offset in range(n_years):
            data[i] += data[i] * evol_factor[year_pos + offset]            
    return data

f(df['data'].values, df['year_final'].values, df['year_init'].values, evol.index.values, evol['evolution'].values)
Out[24]: array([   163673, 594596044,      1277], dtype=int64)

Изменить: некоторые тайминги с вашими тестовыми данными

In [25]: %timeit f(df['data'].values, df['year_final'].values, df['year_init'].values, evol.index.values, evol['evolution'].values)
15.6 µs ± 338 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)


In [26]: %%time
    ...: for index, row in df.iterrows():
    ...:     for year in range(row['year_init'], row['year_final']):
    ...:         factor = evol.at[year, 'evolution']
    ...:         df.at[index, 'data'] += df.at[index, 'data'] * factor
Wall time: 3 ms