logo标签列表

如何高效地重新采样DatetimeIndex

pythonpandas
7

Pandas在系列/数据帧上有一个resample方法，但似乎没有办法只对DatetimeIndex进行重新取样？

具体而言，我有一个每天的Datetimeindex，可能会有缺失日期，我想将它按小时频率重新取样，但只包括原始日常索引中的日期。

除了我下面尝试的方式，还有更好的方法吗？

In [56]: daily_index = pd.period_range('01-Jan-2017', '31-Jan-2017', freq='B').asfreq('D')

In [57]: daily_index
Out[57]: 
PeriodIndex(['2017-01-02', '2017-01-03', '2017-01-04', '2017-01-05',
             '2017-01-06', '2017-01-09', '2017-01-10', '2017-01-11',
             '2017-01-12', '2017-01-13', '2017-01-16', '2017-01-17',
             '2017-01-18', '2017-01-19', '2017-01-20', '2017-01-23',
             '2017-01-24', '2017-01-25', '2017-01-26', '2017-01-27',
             '2017-01-30', '2017-01-31'],
            dtype='int64', freq='D')

In [58]: daily_index.shape
Out[58]: (22,)

In [59]: hourly_index = pd.DatetimeIndex([]).union_many(
    ...:     pd.date_range(day.to_timestamp('H','S'), day.to_timestamp('H','E'), freq='H')
    ...:     for day in daily_index
    ...: )

In [60]: hourly_index
Out[60]: 
DatetimeIndex(['2017-01-02 00:00:00', '2017-01-02 01:00:00',
               '2017-01-02 02:00:00', '2017-01-02 03:00:00',
               '2017-01-02 04:00:00', '2017-01-02 05:00:00',
               '2017-01-02 06:00:00', '2017-01-02 07:00:00',
               '2017-01-02 08:00:00', '2017-01-02 09:00:00',
               ...
               '2017-01-31 14:00:00', '2017-01-31 15:00:00',
               '2017-01-31 16:00:00', '2017-01-31 17:00:00',
               '2017-01-31 18:00:00', '2017-01-31 19:00:00',
               '2017-01-31 20:00:00', '2017-01-31 21:00:00',
               '2017-01-31 22:00:00', '2017-01-31 23:00:00'],
              dtype='datetime64[ns]', length=528, freq=None)

In [61]: 22*24
Out[61]: 528

In [62]: %%timeit
    ...: hourly_index = pd.DatetimeIndex([]).union_many(
    ...:     pd.date_range(day.to_timestamp('H','S'), day.to_timestamp('H','E'), freq='H')
    ...:     for day in daily_index
    ...: )
100 loops, best of 3: 13.7 ms per loop

更新：

我选择了@NTAWolf答案的略微变体，它具有类似的性能但不会重新排序输入日期，以防它们没有排序。

def resample_index(index, freq):
    """Resamples each day in the daily `index` to the specified `freq`.

    Parameters
    ----------
    index : pd.DatetimeIndex
        The daily-frequency index to resample
    freq : str
        A pandas frequency string which should be higher than daily

    Returns
    -------
    pd.DatetimeIndex
        The resampled index

    """
    assert isinstance(index, pd.DatetimeIndex)
    start_date = index.min()
    end_date = index.max() + pd.DateOffset(days=1)
    resampled_index = pd.date_range(start_date, end_date, freq=freq)[:-1]
    series = pd.Series(resampled_index, resampled_index.floor('D'))
    return pd.DatetimeIndex(series.loc[index].values)


In [184]: %%timeit
     ...: hourly_index3 = pd.date_range(daily_index.start_time.min(), 
     ...:                               daily_index.end_time.max() + 1, 
     ...:                               normalize=True, freq='H')
     ...: hourly_index3 = hourly_index3[hourly_index3.floor('D').isin(daily_index.start_time)]
100 loops, best of 3: 2.97 ms per loop

In [185]: %timeit resample_index(daily_index.to_timestamp('D','S'), freq='H')
100 loops, best of 3: 2.93 ms per loop
2个回答
7
|             方法              |  时间   | 相对耗时 |
|---------------------------------|---------|----------|
| 作者更新后的方法           | 1.31 毫秒 |  17.6 %  |
| 生成日期范围，np.in1d     | 1.75 毫秒 |  23.5 %  |
| 生成日期范围，Series.isin | 1.90 毫秒 |  25.5 %  |
| 使用虚拟Series进行重新采样      | 4.37 毫秒 |  58.7 %  |
| 作者最初的方法           | 7.45 毫秒 | 100.0 %  |

更新2:生成日期范围，np.in1d

再次感谢@IanS的启发，这个方法不太易读，但是速度更快：

%%timeit -r 10
hourly_index4 = pd.date_range(daily_index.start_time.min(), 
                              daily_index.end_time.max() + pd.DateOffset(days=1), 
                              normalize=True, freq='H')
overlap = np.in1d(np.array(hourly_index4.values, dtype='datetime64[D]'),
                  np.array(daily_index.start_time.values, dtype='datetime64[D]'))
hourly_index4 = hourly_index4[overlap]

1000 loops, best of 10: 1.75 ms per loop

这里，我们通过将两个Series的值转换为相同的numpy datetime类型（在此过程中对“hourly_index”进行取整）来提高速度。将“.values”传递给numpy可以稍微加快速度。

更新1：生成日期范围，“Series.isin”

比最初的投标更快的方法，受@IanS方法的启发：为数据中所有日期的完整范围按小时生成日期范围，并仅选择与数据中现有日期匹配的条目：

%%timeit
hourly_index3 = pd.date_range(daily_index.start_time.min(), 
                              # The following line should use 
                              # +pd.DateOffset(days=1) in place of +1
                              # but is left as is to show the option.
                              daily_index.end_time.max() + 1, 
                              normalize=True, freq='H')
hourly_index3 = hourly_index3[hourly_index3.floor('D').isin(daily_index.start_time)]

100 loops, best of 3: 1.9 ms per loop

这种方法可以将处理时间缩短约75%。

原始答案：使用虚拟Series重新采样

使用虚拟Series，您可以避免循环。在我的计算机上，它可以将运行时间缩短约40%。

对于您的方法，我得到以下时间：

In [14]: %%timeit -o -r 10
   ....: hourly_index = pd.DatetimeIndex([]).union_many(   
   ....:     pd.date_range(day.to_timestamp('H','S'), day.to_timestamp('H','E'), freq='H')
   ....:     for day in daily_index
   ....: )
   ....: 
100 loops, best of 10: 7.45 ms per loop

对于更快的方法：

In [13]: %%timeit -o -r 10
s = pd.Series(0, index=daily_index)
s = s.resample('H').last()
s = s[s.index.start_time.floor('D').isin(daily_index.start_time)]
hourly_index2 = s.index.start_time
   ....: 
100 loops, best of 10: 4.37 ms per loop

请注意，我们并不真正关心系列中放入的值；在这里，我只是默认使用 int。

表达式 s.index.start_time.floor('D').isin(daily_index.start_time) 为我们提供了一个布尔向量，用于确定哪些在 s.index 中匹配 daily_index 中的日期。
使用 floor 可以获得额外的加分 - 我对 pandas api 比较熟悉，但这个新的我还不太了解！ - Dave Hirschfeld
我在想 hourly_index3.date 是否比 hourly_index3.floor('D') 更快。 - IanS
@IanS，你的评论让我找到了一个更快的方法，直接使用numpy类型:-) hourly_index3.date 不能直接插入，因为它是一个numpy数组，没有.isin。此外，它具有dtype=object，这对我们的目的不是很有效率。因此，在上面的更新2中看到的修改。 - thorbjornwolf
@DaveHirschfeld 这是一个非常好的解决方案。pd.DateOffset(days=1) 也很不错；这对我来说是新的！它感觉比仅使用 +1 并希望数据类型正确要安全得多。 - thorbjornwolf
@NTAWolf，很好！太遗憾了，我不能为你的答案点赞，因为我昨天已经点过了 :) - IanS
5
另一种选择是直接生成每小时指数，然后在之后删除非工作日：
hourly_index = pd.date_range('01-Jan-2017', '31-Jan-2017', freq='H')
hourly_index = hourly_index[hourly_index.dayofweek < 5]

性能比较:

  • 原帖作者的解决方案: 10次循环，每次平均44.2毫秒
  • EdChum的解决方案: 1000次循环，每次平均1.46毫秒
  • 我的解决方案: 1000次循环，每次平均598微秒
1
你应该添加 OP 尝试比较时间的计时器，以便于不同机器速度的比较。+1 - EdChum
2
pd.date_range('01-Jan-2017', '31-Jan-2017', freq='H') 结束于 Timestamp('2017-01-31 00:00:00', offset='H')，这意味着我们没有包含范围内最后一天的小时数。增加一个小时 :-) - thorbjornwolf
1
业务日只是用来模拟一系列非连续的日期。通常情况下，缺失的日期可能是随机的，因此后过滤操作并不像那样简单。 - Dave Hirschfeld
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接