Преобразование времени unix в читаемую дату в кадре данных pandas

У меня есть датафрейм с временем unix и ценами в нем. Я хочу преобразовать столбец индекса так, чтобы он отображался в удобочитаемых датах.

Так, например, у меня date как 1349633705 в столбце индекса, но я бы хотел, чтобы он отображался как 10/07/2012 (или, по крайней мере, 10/07/2012 18:15).

Для некоторого контекста вот код, с которым я работаю, и то, что я уже пробовал:

import json
import urllib2
from datetime import datetime
response = urllib2.urlopen('http://blockchain.info/charts/market-price?&format=json')
data = json.load(response)   
df = DataFrame(data['values'])
df.columns = ["date","price"]
#convert dates 
df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.index = df.date

Как видите, я использую здесь df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d")), что не работает, поскольку я работаю с целыми числами, а не со строками. Я думаю, мне нужно использовать datetime.date.fromtimestamp, но я не совсем уверен, как применить это ко всему df.date.

Спасибо.


python pandas dataframe unix-timestamp
person W A Carnegie    schedule 07.10.2013    source источник

Ответы (4)


arrow_upward
285
arrow_downward

Кажется, это секунды с эпохи.

In [20]: df = DataFrame(data['values'])

In [21]: df.columns = ["date","price"]

In [22]: df
Out[22]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 358 entries, 0 to 357
Data columns (total 2 columns):
date     358  non-null values
price    358  non-null values
dtypes: float64(1), int64(1)

In [23]: df.head()
Out[23]: 
         date  price
0  1349720105  12.08
1  1349806505  12.35
2  1349892905  12.15
3  1349979305  12.19
4  1350065705  12.15
In [25]: df['date'] = pd.to_datetime(df['date'],unit='s')

In [26]: df.head()
Out[26]: 
                 date  price
0 2012-10-08 18:15:05  12.08
1 2012-10-09 18:15:05  12.35
2 2012-10-10 18:15:05  12.15
3 2012-10-11 18:15:05  12.19
4 2012-10-12 18:15:05  12.15

In [27]: df.dtypes
Out[27]: 
date     datetime64[ns]
price           float64
dtype: object
person Jeff    schedule 07.10.2013
comment
а в 0.13 вы сможете использовать date_unit при read_json: D - person Andy Hayden; 07.10.2013
comment
Большой! Ваше решение имеет смысл. Pandas: преобразование в метки времени проходит через это довольно хорошо, теперь я знаю о to_datetime. - person W A Carnegie; 08.10.2013
comment
Еще один момент. У меня это не сработало в 0.11, но нормально в 0.12+ - person W A Carnegie; 08.10.2013
comment
Это решение дает мне OverflowError: Python int too large to convert to C long. - person if __name__ is None; 15.09.2015
comment
Неважно, была отметка времени в миллисекундах, просто нужно было lambda x: x/1000.0 или unit='ms'. - person if __name__ is None; 15.09.2015
comment
строка 25 полностью отвечает на это - person andrewwowens; 23.02.2016
comment
df ['date'] имеет тип datetime. Как мне преобразовать его в str, чтобы он сериализовался? - person Hussain; 15.06.2017
comment
Есть ли способ конвертировать в формат datetime.date, а не datetime (ns)? - person Pengju Zhao; 11.07.2017
comment
Спасибо, в моем случае это помогло. - person KK2491; 02.02.2021
comment
В официальной документации Pandas есть отличное пошаговое руководство, как указано @WACarnegie. Если вы хотите пропустить его, вот прямая ссылка на раздел: Временные метки эпох - person Rafael Beirigo; 22.05.2021

arrow_upward
69
arrow_downward

Если вы попробуете использовать:

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],***unit='s'***))

и получите ошибку:

"pandas.tslib.OutOfBoundsDatetime: невозможно преобразовать ввод с помощью единицы измерения" "

Это означает, что DATE_FIELD не указывается в секундах.

В моем случае это были миллисекунды - EPOCH time.

Преобразование работало с использованием ниже:

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],unit='ms'))
person Sandesh    schedule 07.07.2017

arrow_upward
22
arrow_downward

Предполагая, что мы импортировали pandas as pd, а df - это наш фрейм данных

pd.to_datetime(df['date'], unit='s')

работает для меня.

person fahim reza    schedule 17.03.2018

arrow_upward
1
arrow_downward

В качестве альтернативы, изменив строку приведенного выше кода:

# df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.date = df.date.apply(lambda d: datetime.datetime.fromtimestamp(int(d)).strftime('%Y-%m-%d'))

Он тоже должен работать.

person ipramusinto    schedule 18.03.2019