如何在Python中平滑数据？

Question

我希望通过使用SciPy的一维曲线的B-spline表示来平滑下面显示的散点图。 数据在此处可用：这里。

我使用的代码是:

import matplotlib.pyplot as plt
import numpy as np
from scipy import interpolate

data = np.genfromtxt("spline_data.dat", delimiter = '\t')
x = 1000 / data[:, 0]
y = data[:, 1]
x_int = np.linspace(x[0], x[-1], 100)
tck = interpolate.splrep(x, y, k = 3, s = 1)
y_int = interpolate.splev(x_int, tck, der = 0)

fig = plt.figure(figsize = (5.15,5.15))
plt.subplot(111)
plt.plot(x, y, marker = 'o', linestyle='')
plt.plot(x_int, y_int, linestyle = '-', linewidth = 0.75, color='k')
plt.xlabel("X")
plt.ylabel("Y")
plt.show()

我尝试改变样条和平滑条件的顺序，但是图形仍不够流畅。

B样条插值应该能够平滑数据，但是出了什么问题？是否有其他方法可以平滑这些数据？

- Tom Kurushingal

Answer 1

使用更大的平滑参数。例如，s=1000：

tck = interpolate.splrep(x, y, k=3, s=1000)

这将产生以下结果：

- jme

Answer 2

假设我们处理的是某种现象的嘈杂观测数据，高斯过程回归可能也是一个不错的选择。噪声方差的知识可以包含在参数（nugget）中，并且可以使用最大似然估计找到其他参数。以下是一个简单的示例，说明如何应用它：

import matplotlib.pyplot as plt
import numpy as np
from sklearn.gaussian_process import GaussianProcess

data = np.genfromtxt("spline_data.dat", delimiter='\t')
x = 1000 / data[:, 0]
y = data[:, 1]
x_pred = np.linspace(x[0], x[-1], 100)

# <GP regression>
gp = GaussianProcess(theta0=1, thetaL=0.00001, thetaU=1000, nugget=0.000001)
gp.fit(np.atleast_2d(x).T, y)
y_pred = gp.predict(np.atleast_2d(x_pred).T)
# </GP regression>

fig = plt.figure(figsize=(5.15, 5.15))
plt.subplot(111)
plt.plot(x, y, marker='o', linestyle='')
plt.plot(x_pred, y_pred, linestyle='-', linewidth=0.75, color='k')
plt.xlabel("X")
plt.ylabel("Y")
plt.show()

这将会得到：

- Andrzej Pronobis

Answer 3

在您的特定情况下，您也可以尝试将np.linspace函数的最后一个参数更改为较小的数字，例如np.linspace(x[0], x[-1], 10)。

演示代码：

import matplotlib.pyplot as plt
import numpy as np
from scipy import interpolate

data = np.random.rand(100,2)
tempx = list(data[:, 0])
tempy = list(data[:, 1])
x = np.array(sorted([point*10 + tempx.index(point) for point in tempx]))
y = np.array([point*10 + tempy.index(point) for point in tempy])
x_int = np.linspace(x[0], x[-1], 10)
tck = interpolate.splrep(x, y, k = 3, s = 1)
y_int = interpolate.splev(x_int, tck, der = 0)

fig = plt.figure(figsize = (5.15,5.15))
plt.subplot(111)
plt.plot(x, y, marker = 'o', linestyle='')
plt.plot(x_int, y_int, linestyle = '-', linewidth = 0.75, color='k')
plt.xlabel("X")
plt.ylabel("Y")
plt.show()

你也可以使用pandas中的rolling_mean对数据进行平滑处理：

import pandas as pd

data = [...(your data here)...]

smoothendData = pd.rolling_mean(data,5)

rolling_mean的第二个参数是移动平均（滚动平均）周期。您还可以反转数据'data.reverse'，以这种方式对数据进行rolling_mean，并将其与前向rolling_mean结合使用。另一个选择是指数加权移动平均值： Pandas：列的指数平滑函数

或者使用带通滤波器： Python中的fft带通滤波器 http://docs.scipy.org/doc/scipy/reference/signal.html

- wordsforthewise