Применить функцию прокрутки к фрейму данных pandas с несколькими аргументами

Я пытаюсь применить функцию прокрутки с окном 3 года на фреймворке pandas.

import pandas as pd

# Dummy data
df = pd.DataFrame({'Product': ['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B'],
                   'Year': [2015, 2016, 2017, 2018, 2015, 2016, 2017, 2018],
                   'IB': [2, 5, 8, 10, 7, 5, 10, 14],
                   'OB': [5, 8, 10, 12, 5, 10, 14, 20],
                   'Delta': [2, 2, 1, 3, -1, 3, 2, 4]})

# The function to be applied
def get_ln_rate(ib, ob, delta):
    n_years = len(ib)
    return sum(delta)*np.log(ob[-1]/ib[0]) / (n_years * (ob[-1] - ib[0]))

Ожидаемый результат

  Product  Year  IB  OB  Delta  Ln_Rate
0       A  2015   2   5      2     
1       A  2016   5   8      2    
2       A  2017   8  10      1   0.3353
3       A  2018  10  12      3   0.2501
4       B  2015   7   5     -1  
5       B  2016   5  10      3
6       B  2017  10  14      2   0.1320
7       B  2018  14  20      4   0.2773

я пытался

df['Ln_Rate'] = df.groupby('Product').rolling(3).apply(lambda x: get_ln_rate(x['IB'], x['OB'], x['Delta']))

Но это не работает.

Я нашел несколько похожих постов

применение настраиваемой функции прокрутки к фрейму данных - здесь нет четкого ответа

Pandas Rolling Apply custom - у этого нет нескольких аргументов

применить пользовательскую функцию к фрейму данных pandas в скользящем окне - у этого есть _4 _..., но он не показывает синтаксис.

Ни то, ни другое не похоже. Мы будем очень благодарны за любые указатели на правильный синтаксис.


python pandas rolling-computation pandas-groupby
person mortysporty    schedule 03.01.2020    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Я решил это, повторно используя скользящее окно.

import numpy as np

WINDOW_SIZE = 3

rw = df.groupby('Product').rolling(WINDOW_SIZE)

df = df.assign(delta_sum=rw['Delta'].agg(np.sum).reset_index()['Delta'],
               ib_first=rw['IB'].apply(lambda xs: xs[0]).reset_index()['IB'],
               ob_last=rw['OB'].apply(lambda xs: xs[-1]).reset_index()['OB'])

df['ln_rate'] = df['delta_sum']*np.log(df['ob_last']/df['ib_first']) / (WINDOW_SIZE * (df['ob_last'] - df['ib_first']))

Который дает:

  Product  Year  IB  OB  Delta  delta_sum  ib_first  ob_last   ln_rate
0       A  2015   2   5      2        NaN       NaN      NaN       NaN
1       A  2016   5   8      2        NaN       NaN      NaN       NaN
2       A  2017   8  10      1        5.0       2.0     10.0  0.335300
3       A  2018  10  12      3        6.0       5.0     12.0  0.250134
4       B  2015   7   5     -1        NaN       NaN      NaN       NaN
5       B  2016   5  10      3        NaN       NaN      NaN       NaN
6       B  2017  10  14      2        4.0       7.0     14.0  0.132028
7       B  2018  14  20      4        9.0       5.0     20.0  0.277259

Сброс индексов необходим, чтобы преобразовать сгруппированный DataFrame обратно в его исходную форму.

Надеюсь, это поможет.

person Markus Rother    schedule 03.01.2020
comment
Привет. Спасибо. Это отличный ответ. На самом деле он не отвечает на вопрос, как применить пользовательскую функцию с несколькими аргументами. Но он действительно показывает умный способ комбинирования функций с одним аргументом для достижения желаемого результата. - person mortysporty; 03.01.2020

arrow_upward
1
arrow_downward

Еще один ответ пришел мне в голову: создавать скользящие окна для сгруппированных индексов и передавать частичные dfs вашей пользовательской функции. Конечно, функция не вызывается с несколькими аргументами, но, тем не менее, со всеми необходимыми данными.

import numpy as np
import pandas as pd

df = pd.DataFrame({'Product': ['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B'],
                   'Year': [2015, 2016, 2017, 2018, 2015, 2016, 2017, 2018],
                   'IB': [2, 5, 8, 10, 7, 5, 10, 14],
                   'OB': [5, 8, 10, 12, 5, 10, 14, 20],
                   'Delta': [2, 2, 1, 3, -1, 3, 2, 4]})

# The function to be applied
def get_ln_rate(df):
    n_years = len(df['IB'])
    return df['Delta'].sum() * np.log(df['OB'].iloc[-1] / df['IB'].iloc[0]) / (n_years * (df['OB'].iloc[-1] - df['IB'].iloc[0]))

ln_rate = df.groupby('Product').apply(lambda grp: pd.Series(grp.index).rolling(3).agg({'Ln_Rate': lambda window: get_ln_rate(grp.loc[window])})).reset_index()['Ln_Rate']
df.assign(Ln_Rate=ln_rate)
person Markus Rother    schedule 06.01.2020