在pandas DataFrame/Series中快速选择时间间隔

Question

在pandas DataFrame/Series中快速选择时间间隔

5

我的问题是，我想将DataFrame过滤，只包括在时间间隔[start，end)内的时间。如果不关心日期，我想仅为每天的开始和结束时间进行过滤。我有一个解决方案，但它很慢。所以我的问题是，是否有更快的方法来进行基于时间的过滤。

示例：

import pandas as pd
import time


index=pd.date_range(start='2012-11-05 01:00:00', end='2012-11-05 23:00:00', freq='1S').tz_localize('UTC')
df=pd.DataFrame(range(len(index)), index=index, columns=['Number'])

# select from 1 to 2 am, include day
now=time.time()
df2=df.ix['2012-11-05 01:00:00':'2012-11-05 02:00:00']
print 'Took %s seconds' %(time.time()-now) #0.0368609428406

# select from 1 to 2 am, for every day
now=time.time()
selector=(df.index.hour>=1) & (df.index.hour<2)
df3=df[selector]
print 'Took %s seconds' %(time.time()-now) #Took  0.0699911117554

可以看到，如果我移除日期（第二种情况），计算时间需要近两倍。如果我有多个不同的日期，例如从11月5日到7日，则计算时间会迅速增加：

index=pd.date_range(start='2012-11-05 01:00:00', end='2012-11-07 23:00:00', freq='1S').tz_localize('UTC')

所以，总结一下，在许多天内按照一天中的时间进行过滤有更快的方法吗？

谢谢。

- Mannaggia

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Nipun Batra · Accepted Answer

你需要使用between_time方法。

In [14]: %timeit df.between_time(start_time='01:00', end_time='02:00')
100 loops, best of 3: 10.2 ms per loop

In [15]: %timeit selector=(df.index.hour>=1) & (df.index.hour<2); df[selector]
100 loops, best of 3: 18.2 ms per loop

我已经将这些测试的日期设置为11月5日至7日。

文档

定义：df.between_time(self, start_time, end_time, include_start=True, include_end=True)
文档字符串：
选择一天中特定时间段（例如，上午9:00-9:30）之间的值。
参数
----------
start_time：datetime.time或字符串
end_time：datetime.time或字符串
include_start：布尔型，默认为True
include_end：布尔型，默认为True

返回
-------
values_between_time：调用者类型