pandas，Python - 如何在时间序列中选择特定时间

Question

我已经使用Python和Pandas进行了一段时间的工作，分析一组小时级别的数据，并且觉得这很好（来自Matlab）。

现在我有点卡住了。我是这样创建我的DataFrame的：

SamplingRateMinutes=60
index = DateRange(initialTime,finalTime, offset=datetools.Minute(SamplingRateMinutes))
ts=DataFrame(data, index=index)

我现在想要做的是选择每天10到13点和20-23点的数据，以便进行进一步的计算。 到目前为止，我使用以下方式切分数据：

 selectedData=ts[begin:end]

我相信我会得到一些脏的循环来选择所需的数据。但肯定有一种更优雅的方式来精确索引我想要的内容。我相信这是一个常见的问题，伪代码的解决方案应该看起来像这样：

myIndex=ts.index[10<=ts.index.hour<=13 or 20<=ts.index.hour<=23]
selectedData=ts[myIndex]

我想提一下，我是一名工程师而不是程序员 :) ... 目前为止

- Dr. Dave

Answer 1

在即将发布的 pandas 0.8.0 中，你将能够编写：

hour = ts.index.hour
selector = ((10 <= hour) & (hour <= 13)) | ((20 <= hour) & (hour <= 23))
data = ts[selector]

- Wes McKinney

Answer 2

这里有一个例子可以满足你的需求：

In [32]: from datetime import datetime as dt

In [33]: dr = p.DateRange(dt(2009,1,1),dt(2010,12,31), offset=p.datetools.Hour())

In [34]: hr = dr.map(lambda x: x.hour)

In [35]: dt = p.DataFrame(rand(len(dr),2), dr)

In [36]: dt 

Out[36]: 
<class 'pandas.core.frame.DataFrame'>
DateRange: 17497 entries, 2009-01-01 00:00:00 to 2010-12-31 00:00:00
offset: <1 Hour>
Data columns:
0    17497  non-null values
1    17497  non-null values
dtypes: float64(2)

In [37]: dt[(hr >= 10) & (hr <=16)]

Out[37]: 
<class 'pandas.core.frame.DataFrame'>
Index: 5103 entries, 2009-01-01 10:00:00 to 2010-12-30 16:00:00
Data columns:
0    5103  non-null values
1    5103  non-null values
dtypes: float64(2)

- Marc Shivers

---

以下是如何在0.10的语法中实现此解决方案，并将其与下面Wes的答案结合起来：dr = pd.date_range(dt(2009,1,1),dt(2010,12,31),freq='H'); dt = pd.DataFrame(rand(len(dr),2),dr); hour = dt.index.hour; selector = ((10 <= hour) & (hour <= 13)) | ((20<=hour) & (hour<=23)) data = dt[selector] - K.-Michael Aye

Answer 3

由于我上面的评论看起来很混乱，因此我决定提供另一个答案，这是关于pandas 0.10.0语法更新的综合Marc回答和Wes提示的:

import pandas as pd
from datetime import datetime

dr = pd.date_range(datetime(2009,1,1),datetime(2010,12,31),freq='H')
dt = pd.DataFrame(rand(len(dr),2),dr)
hour = dt.index.hour
selector = ((10 <= hour) & (hour <= 13)) | ((20<=hour) & (hour<=23))
data = dt[selector]

- K.-Michael Aye

---

dt包和dt变量之间存在冲突。 - Phyo Arkar Lwin

Answer 4

Pandas DataFrame内置了一个函数pandas.DataFrame.between_time，用于时间筛选。

df = pd.DataFrame(np.random.randn(1000, 2),
                  index=pd.date_range(start='2017-01-01', freq='10min', periods=1000))

创建两个数据框，分别对应每个时间段：

df1 = df.between_time(start_time='10:00', end_time='13:00') 
df2 = df.between_time(start_time='20:00', end_time='23:00')

您需要合并和排序的数据框是 df1 和 df2：

pd.concat([df1, df2], axis=0).sort_index()

- mm441