Объедините разные кадры данных в один с циклом for

Я хочу объединить разные финансовые кадры данных в один. Итак, когда я делаю это для 2-3 акций вручную, я делаю:

#getting dataframe from .csv file
df1 = pd.read_csv('C:\\Users\\Enric\\Desktop\\python\\tickers\\MSFT.csv',index_col=None, header=0)
df2 = pd.read_csv('C:\\Users\\Enric\\Desktop\\python\\tickers\\MMM.csv',index_col=None, header=0)

#selecting time period
df1_ = df1[(df1['date'] > '2017-01-01') & (df1['date'] <= '2018-01-01')]
df2_= df2[(df2['date'] > '2017-01-01') & (df2['date'] <= '2018-01-01')]

#concatenate
list=[]
list.append(df1_)
list.append(df2_)
df_all=pd.concat(list) #this is the final dataframe (I skipped some column set code)

С другой стороны, у меня есть список каждого сектора, содержащий все его компании:

healthcare=[u'ABT', u'ABBV', u'AET', u'A', u'ALXN', u'ALGN', u'AGN', u'AMGN', u'ANTM', u'BAX', u'BDX', u'BIIB', u'BSX', u'BMY', u'CELG', u'CNC', u'CI', u'COO', u'CVS', u'DVA', u'XRAY', u'EW', u'EVHC', u'ESRX', u'GILD', u'HCA', u'HOLX', u'HUM', u'IDXX', u'ILMN', u'INCY', u'ISRG', u'JNJ', u'LH', u'LLY', u'MDT', u'MRK', u'MTD', u'MYL', u'PKI', u'PRGO', u'PFE', u'DGX', u'REGN', u'RMD', u'SYK', u'TMO', u'UNH', u'UHS', u'VAR', u'VRTX', u'WAT', u'ZBH', u'ZTS']

И я хочу объединить все ценовые кадры данных из тикеров в этом списке:

for i in healthcare:
  df=pd.read_csv('C:\\Users\\Enric\\Desktop\\python\\tickers\\'+i+'.csv',index_col=None, header=0)
  df1_ = df[(df['date'] > '2017-01-01') & (df['date'] <= '2018-01-01')]
  list=[]
  list.append(df1_)

Но это не сработает, так как в каждом цикле я дублирую "df" внутри списка, поэтому при попытке использовать pd.concat(list) я получаю сообщение об ошибке.

Я новичок в python, и это кажется простой ошибкой, но я не понимаю, как это сделать. Я думал об изменении df1_name для каждого тикера компании внутри цикла, но я не знаю, как это сделать.

Спасибо


python pandas dataframe concatenation financial
person Run The Jewels    schedule 04.03.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Определить список вне цикла:

L = []
for i in healthcare:
  df=pd.read_csv('C:\\Users\\Enric\\Desktop\\python\\tickers\\'+i+'.csv',index_col=None)
  df1_ = df[(df['date'] > '2017-01-01') & (df['date'] <= '2018-01-01')]
  L.append(df1_)

Или используйте понимание списка:

p = 'C:\\Users\\Enric\\Desktop\\python\\tickers\\'
d1 = '2017-01-01'
d2 = '2018-01-01'
L = [pd.read_csv(p+i+'.csv',index_col=None).query("@d1 < date <= @d2") for i in healthcare]

df = pd.concat(L)
person jezrael    schedule 04.03.2018