加速pandas Series中的异常值检查

Question

我正在使用两个不同的标准差计算方法对 pandas Series 对象进行异常值检测。但是，我使用了两个循环，速度非常慢。我想知道是否有任何 pandas 的“技巧”可以加快此步骤。

这是我使用的代码（警告：代码非常丑陋！）：

def find_outlier(point, window, n):
    return np.abs(point - nanmean(window)) >= n * nanstd(window)

def despike(self, std1=2, std2=20, block=100, keep=0):
    res = self.values.copy()
    # First run with std1:
    for k, point in enumerate(res):
        if k <= block:
            window = res[k:k + block]
        elif k >= len(res) - block:
            window = res[k - block:k]
        else:
            window = res[k - block:k + block]
        window = window[~np.isnan(window)]
        if np.abs(point - window.mean()) >= std1 * window.std():
            res[k] = np.NaN
    # Second run with std2:
    for k, point in enumerate(res):
        if k <= block:
            window = res[k:k + block]
        elif k >= len(res) - block:
            window = res[k - block:k]
        else:
            window = res[k - block:k + block]
        window = window[~np.isnan(window)]
        if np.abs(point - window.mean()) >= std2 * window.std():
            res[k] = np.NaN
    return Series(res, index=self.index, name=self.name)

- ocefpaf

Answer 1

我不确定你在做什么，但是在Series中查找异常值应该很简单：

In [1]: s > s.std() * 3

这个表达式中，s代表你的系列数据，3表示超出异常值标准差的数量。这个表达式将返回一系列布尔值，你可以通过这些布尔值对该系列进行索引：

In [2]: s.head(10)
Out[2]:
0    1.181462
1   -0.112049
2    0.864603
3   -0.220569
4    1.985747
5    4.000000
6   -0.632631
7   -0.397940
8    0.881585
9    0.484691
Name: val

In [3]: s[s > s.std() * 3]
Out[3]:
5    4
Name: val

更新：

针对块的评论，我认为在此情况下您可以使用 pd.rolling_std() ：

In [53]: pd.rolling_std(s, window=5).head(10)
Out[53]:
0         NaN
1         NaN
2         NaN
3         NaN
4    0.871541
5    0.925348
6    0.920313
7    0.370928
8    0.467932
9    0.391485

In [55]: abs(s) > pd.rolling_std(s, window=5) * 3

Docstring:
Unbiased moving standard deviation

Parameters
----------
arg : Series, DataFrame
window : Number of observations used for calculating statistic
min_periods : int
    Minimum number of observations in window required to have a value
freq : None or string alias / date offset object, default=None
    Frequency to conform to before computing statistic
    time_rule is a legacy alias for freq

Returns
-------
y : type of input argument

- Zelazny7

---

嗨，Zelazny7。阻塞是因为我需要将每个点与距离它仅100个点的点进行比较，而不是整个系列。这就是为什么我需要循环的原因。 - ocefpaf

注意，此解决方案假定数据已经过零中心化处理。稍微更准确的表述是：abs(s - s.mean()) > pd.rolling_std(s, window=5) * 3 - MarkAWard