简单来说,您指出的将日期/时间字符串解析为datetime
-类型索引的最快方法,确实是最快的方法。我测试了一些您的方法和其他方法,以下是我的结果。
首先,获取一个示例DataFrame
:
import datetime
from pandas import *
start = datetime(2000, 1, 1)
end = datetime(2012, 12, 1)
d = DateRange(start, end, offset=datetools.Hour())
t_df = DataFrame({'field_1': np.array(['OFF', 'ON'])[np.random.random_integers(0, 1, d.size)], 'field_2': np.random.random_integers(0, 1, d.size)}, index=d)
位置:
In [1]: t_df.head()
Out[1]:
field_1 field_2
2000-01-01 00:00:00 ON 1
2000-01-01 01:00:00 OFF 0
2000-01-01 02:00:00 OFF 1
2000-01-01 03:00:00 OFF 1
2000-01-01 04:00:00 ON 1
In [2]: t_df.shape
Out[2]: (113233, 2)
如果您将其转储到磁盘上,则此文件大小约为3.2MB。现在我们需要删除Index
的DataRange
类型,并将其更改为str
列表,以模拟您如何解析数据:
t_df.index = t_df.index.map(str)
如果使用read_table
将数据读入DataFrame
时,设置parse_dates = True
,则平均解析时间为9.5秒:
In [3]: import numpy as np
In [4]: import timeit
In [5]: t_df.to_csv('data.tsv', sep='\t', index_label='date_time')
In [6]: t = timeit.Timer("from __main__ import read_table; read_table('data.tsv', sep='\t', index_col=0, parse_dates=True)")
In [7]: np.mean(t.repeat(10, number=1))
Out[7]: 9.5226533889770515
其他策略首先将数据解析成
DataFrame
(解析时间可以忽略不计),然后将索引转换为
datetime
对象的
Index
。
In [8]: t = timeit.Timer("from __main__ import t_df, dateutil; map(dateutil.parser.parse, t_df.index.values)")
In [9]: np.mean(t.repeat(10, number=1))
Out[9]: 7.6590064525604244
In [10]: t = timeit.Timer("from __main__ import t_df, dateutil; t_df.index.map(dateutil.parser.parse)")
In [11]: np.mean(t.repeat(10, number=1))
Out[11]: 7.8106775999069216
In [12]: t = timeit.Timer("from __main__ import t_df, datetime; t_df.index.map(lambda x: datetime.strptime(x, \"%Y-%m-%d %H:%M:%S\"))")
Out[12]: 2.0389052629470825
In [13]: t = timeit.Timer("from __main__ import t_df, np; map(np.datetime_, t_df.index.values)")
In [14]: np.mean(t.repeat(10, number=1))
Out[14]: 3.8656840562820434
In [15]: t = timeit.Timer("from __main__ import t_df, np; map(np.datetime64, t_df.index.values)")
In [16]: np.mean(t.repeat(10, number=1))
Out[16]: 3.9244711160659791
现在揭晓获胜者:
In [17]: def f(s):
....: return datetime(int(s[0:4]),
....: int(s[5:7]),
....: int(s[8:10]),
....: int(s[11:13]),
....: int(s[14:16]),
....: int(s[17:19]))
....: t = timeit.Timer("from __main__ import t_df, f; t_df.index.map(f)")
....:
In [18]: np.mean(t.repeat(10, number=1))
Out[18]: 0.33927145004272463
当使用numpy
、pandas
或datetime
类型的方法时,肯定会有更多的优化需要考虑,但在我看来,最好使用CPython的标准库,将每个日期/时间str
转换为一组int
,然后再转换为datetime
实例,这是获得所需结果的最快方式。