Python 3.5,来自sklearn的预处理
df = quandl.get('WIKI/GOOGL')
X = np.array(df)
X = preprocessing.scale(X)
Python 3.5,来自sklearn的预处理
df = quandl.get('WIKI/GOOGL')
X = np.array(df)
X = preprocessing.scale(X)
preprocessing.scale()算法可以将数据放在同一个尺度上,对于大部分稀疏数据集非常有用。简单来说,如果您的数据值差异非常大,那么它就是稀疏的。例如,X的值可能如下所示:
X = [1, 4, 400, 10000, 100000]
稀疏性的问题在于它很偏向或在统计学术语中,它是有偏的。因此,缩放数据会将所有值放在同一个尺度上,消除稀疏性。就其数学细节而言,这遵循归一化和标准化的相同概念。您可以查找这些内容以了解其详细工作原理。但是为了使生活更简单,sklearn算法可以为您完成所有操作!
将数据进行缩放,可以使所有值处于同一比例尺上,消除稀疏性,并遵循归一化和标准化的概念。 要查看效果,您可以在处理之前和之后调用数据框上的describe函数:
df.describe()
#with X is already pre-proccessed
df2 = pandas.DataFrame(X)
df2.describe()
preprocessing.scale() 方法有助于数据点的标准化。它会为每个数据点除以标准差并减去平均值。