在R和Python中的线性回归 - 同一个问题产生不同的结果

Question

我正在用Python训练我的数据技能，这些技能我之前在R中学过。尽管如此，我对简单线性回归有些疑惑。

气候变化数据： [链接在此] Python脚本：

import os
import pandas as pd
import statsmodels.api as sm



train = df[df.Year>=2006]

X = train[['MEI', 'CO2', 'CH4', 'N2O', 'CFC.11', 'CFC.12', 'TSI', 'Aerosols']]
y = train[['Temp']]
model = sm.OLS(y, X).fit()
predictions = model.predict(X)
model.summary()

Python结果

依赖变量:温度 R方=0.972

模型:OLS 调整后的R方=0.964

方法：最小二乘法 F统计值=123.1

日期:星期一，2018年10月1日 F统计值显著性概率：9.54e-20

时间:14:52:53 对数似然函数值:46.898

观测数量:36 AIC:-77.80

残差自由度:28 BIC:-65.13

模型自由度:8

协方差类型:非稳健

MEI 0.0361

CO2 0.0046

CH4 -0.0023

N2O -0.0141

CFC-11 -0.0312

CFC-12 0.0358

TSI -0.0033

Aerosols 69.9680

Omnibus:8.397 Durbin-Watson:1.484

Prob(Omnibus):0.015
Jarque-Bera (JB):10.511

Skew:-0.546 Prob(JB):0.00522

Kurtosis:5.412
Cond. No.6.35e+06

R脚本

train <- climate_change[climate_change$Year>=2006,]
prev <- lm(Temp ~ ., data = train[,3:NCOL(train)])
summary(prev)

R 结果

残差: 最小值 1/4分位数 中位数 3/4分位数 最大值 -0.221684 -0.032846 0.002042 0.037158 0.167887

系数: MEI 0.036056 CO2 0.004817
CH4 -0.002366 N2O -0.013007 CFC-11 -0.033194 CFC-12 0.037775 TSI 0.009100 Aerosols 70.463329 残差标准误差: 0.07594 段自由度上的多重 R平方: 0.5346, 调整后的R平方: 0.3967 F统计量值: 3.877 在8个和27个自由度上，p值为: 0.003721

问题

R平方有很大的差异，而且独立变量的系数也有些不同。有人能解释一下为什么吗？

- Arthur Vaz

---

你在使用 python 时是否收到任何警告？我收到了 The condition number is large, 6.35e+06. This might indicate that there are strong multicollinearity or other numerical problems. 的警告信息。 - akrun

是的，我得到了相同的警告 警告： [1] 标准误差假定误差的协方差矩阵已正确指定。 [2] 条件数很大，为6.35e+06。这可能表明存在强多重共线性或其他数值问题。 - Arthur Vaz

这可能是由于不同的实现方式造成的。请在这里进行检查。 - akrun

请点击此处查看有关在statsmodels中捕获高多重共线性的信息。 - akrun

Answer 1

需要说明的是：statsmodel的最小二乘拟合默认不包括常数项。如果我们从R的拟合中去掉常数项，我们会得到与Python实现非常相似的结果，或者反过来，如果我们在statsmodel的拟合中添加一个常数项，我们会得到类似于R的结果：

在R的lm调用中去除常数项：

summary(lm(Temp ~ . - 1, data = train[,3:NCOL(train)]))

Call:
lm(formula = Temp ~ . - 1, data = train[, 3:NCOL(train)])

Residuals:
      Min        1Q    Median        3Q       Max 
-0.221940 -0.032347  0.002071  0.037048  0.167294 

Coefficients:
          Estimate Std. Error t value Pr(>|t|)  
MEI       0.036076   0.027983   1.289   0.2079  
CO2       0.004640   0.008945   0.519   0.6080  
CH4      -0.002328   0.002132  -1.092   0.2843  
N2O      -0.014115   0.079452  -0.178   0.8603  
`CFC-11` -0.031232   0.096693  -0.323   0.7491  
`CFC-12`  0.035760   0.103574   0.345   0.7325  
TSI      -0.003283   0.036861  -0.089   0.9297  
Aerosols 69.968040  33.093275   2.114   0.0435 *
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.07457 on 28 degrees of freedom
Multiple R-squared:  0.9724,    Adjusted R-squared:  0.9645 
F-statistic: 123.1 on 8 and 28 DF,  p-value: < 2.2e-16

让我们在statsmodel的调用中添加一个常量：

X_with_constant = sm.add_constant(X)

model = sm.OLS(y, X_with_constant).fit()
model.summary()

给我们相同的结果：

OLS Regression Results
Dep. Variable:  Temp    R-squared:  0.535
Model:  OLS Adj. R-squared: 0.397
Method: Least Squares   F-statistic:    3.877
Date:   Tue, 02 Oct 2018    Prob (F-statistic): 0.00372
Time:   10:14:03    Log-Likelihood: 46.899
No. Observations:   36  AIC:    -75.80
Df Residuals:   27  BIC:    -61.55
Df Model:   8       
Covariance Type:    nonrobust       
coef    std err t   P>|t|   [0.025  0.975]
const   -17.8663    563.008 -0.032  0.975   -1173.064   1137.332
MEI 0.0361  0.029   1.265   0.217   -0.022  0.095
CO2 0.0048  0.011   0.451   0.656   -0.017  0.027
CH4 -0.0024 0.002   -0.950  0.351   -0.007  0.003
N2O -0.0130 0.088   -0.148  0.884   -0.194  0.168
CFC-11  -0.0332 0.116   -0.285  0.777   -0.272  0.205
CFC-12  0.0378  0.123   0.307   0.761   -0.215  0.290
TSI 0.0091  0.392   0.023   0.982   -0.795  0.813
Aerosols    70.4633 37.139  1.897   0.069   -5.739  146.666
Omnibus:    8.316   Durbin-Watson:  1.488
Prob(Omnibus):  0.016   Jarque-Bera (JB):   10.432
Skew:   -0.535  Prob(JB):   0.00543
Kurtosis:   5.410   Cond. No.   1.06e+08

- coffeinjunky

Answer 2

如评论中所述，根据警告提示，这可能是多重共线性问题。测试是否获得相同的R平方的一种方法是使用另一个包sklearn并基于LinearRegression模块构建模型。

from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score

regr = LinearRegression()
regr.fit(X, y)
predictions = regr.predict(X)
r2_score(y, predictions)
#0.5345800653144226

但是，LinearRegression 不会给出任何 summary 输出。必须提取感兴趣的参数。

- akrun