Pandas - 解释apply函数为什么很慢

Question

使用apply函数处理大型数据帧（约1~3百万行）时速度非常慢。

我已经查看了相关的问题，例如Speed up Pandas apply function和Counting within pandas apply() function，似乎提高其速度的最佳方法不是使用apply函数 :)

对于我的情况，我需要使用apply函数执行两种任务。

第一种：使用查找字典查询的apply函数

f(p_id, p_dict):
    return p_dict[p_dict['ID'] == p_id]['value']

p_dict = DataFrame(...)  # it's another dict works like lookup table
df = df.apply(f, args=(p_dict,))

第二步：使用 groupby 进行应用

f(week_id, min_week_num, p_dict):
    return p_dict[(week_id - min_week_num < p_dict['WEEK']) & (p_dict['WEEK'] < week_id)].ix[:,2].mean()

f_partial = partial(f, min_week_num=min_week_num, p_dict=p_dict)
df = map(f, df['WEEK'])

对于第一个案例，我认为可以使用数据框连接来完成，但我不确定在大型数据集上进行此类连接的资源成本。

我的问题是：

1. 是否有任何方法可以在上述两种情况中替换apply？
2. 为什么apply很慢？对于字典查找的情况，我认为它应该是O（N），即使N达到100万，也不应该花费太多时间。

- linpingta

---

你的第一个问题是想要做什么？从 f 的定义来看，我怀疑它并没有实现你想要的功能。也许你应该添加一些数据框的小例子和期望的结果。 - Ami Tavory

谢谢Ami，对于第一个问题，例如p_dict是一个国家ID和国家名称查找表，我想通过国家ID作为输入查询国家名称，如果没有该国家ID，则返回NA :) - linpingta

Answer 1

关于您的第一个问题，我无法确定为什么这个实例很慢。但是一般来说，apply 不利用矢量化。此外，apply 返回一个新的 Series 或 DataFrame 对象，因此在处理非常大的 DataFrame 时，会有相当大的 IO 开销（由于 Pandas 具有大量内部实现优化，我不能保证这种情况100％发生）。

对于您的第一个方法，我假设您正在尝试使用 p_dict 作为查找表填充 df 中的“value”列。使用pd.merge 大约快1000倍：

import string, sys

import numpy as np
import pandas as pd

##
# Part 1 - filling a column by a lookup table
##
def f1(col, p_dict):
    return [p_dict[p_dict['ID'] == s]['value'].values[0] for s in col]

# Testing
n_size = 1000
np.random.seed(997)
p_dict = pd.DataFrame({'ID': [s for s in string.ascii_uppercase], 'value': np.random.randint(0,n_size, 26)})
df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})

# Apply the f1 method  as posted
%timeit -n1 -r5 temp = df.apply(f1, args=(p_dict,))
>>> 1 loops, best of 5: 832 ms per loop

# Using merge
np.random.seed(997)
df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})
%timeit -n1 -r5 temp = pd.merge(df, p_dict, how='inner', left_on='p_id', right_on='ID', copy=False)

>>> 1000 loops, best of 5: 826 µs per loop

关于第二个任务，我们可以快速地向 p_dict 添加一个新列，该列计算一个均值，其中时间窗口从 min_week_num 开始，并以 p_dict 中该行所在的周结束。这要求按照 WEEK 列进行升序排序。然后您可以再次使用 pd.merge。

我假设以下示例中的 min_week_num 为 0。但是您可以轻松修改 rolling_growing_mean 来取不同的值。由于每次迭代执行固定数量的操作，因此 rolling_growing_mean 方法的运行时间复杂度为 O(n)。

n_size = 1000
np.random.seed(997)
p_dict = pd.DataFrame({'WEEK': range(52), 'value': np.random.randint(0, 1000, 52)})
df = pd.DataFrame({'WEEK': np.random.randint(0, 52, n_size)})

def rolling_growing_mean(values):
    out = np.empty(len(values))
    out[0] = values[0]
    # Time window for taking mean grows each step
    for i, v in enumerate(values[1:]):
        out[i+1] = np.true_divide(out[i]*(i+1) + v, i+2)
    return out

p_dict['Means'] = rolling_growing_mean(p_dict['value'])

df_merged = pd.merge(df, p_dict, how='inner', left_on='WEEK', right_on='WEEK')

- andrew

---

谢谢andrew，对于第一个问题非常好和友善 :) 但是我想你可能误解了我的第二个问题，因为week_id是输入参数，例如，week_id = 5，min_week_num = 2，那么我想查询p_dict ['WEEK']值的3-4的平均值，而当week_id = 6时，则查询4-5，所以我猜移出它是不等效的。 - linpingta

@linpingta 当然可以。我当时在想数学，而不是编程！我已经删除了那部分回答。 - andrew

那么有什么解决办法吗？我知道也许我应该把它放到另一个问题中，但是任何建议都会受到赞赏 :) - linpingta

看起来你想让 min_week_num 保持不变，而 week_id 则会发生变化。是这样吗？ - andrew

是的安德鲁，week_id会随着数据框中不同的行而改变，而min_week_num在这里可以被视为一个常量值。 - linpingta

@linpingta，那个编辑是否有助于你的第二个问题？如果没有，也许你应该发布一个新问题，其中包括最小、完整和可验证的示例。 - andrew