在R中使用线性回归填充缺失值

Question

我有一份数据，其中包含一个时间列和两个变量（以下是示例）

df <- structure(list(time = c(15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 
                              25, 26), var1 = c(20.4, 31.5, NA, 53.7, 64.8, NA, NA, NA, NA, 
                              120.3, NA, 142.5), var2 = c(30.6, 47.25, 63.9, 80.55, 97.2, 113.85, 
                              130.5, 147.15, 163.8, 180.45, 197.1, 213.75)), .Names = c("time", 
                              "var1", "var2"), row.names = c(NA, -12L), class = c("tbl_df", 
                              "tbl", "data.frame"))

var1有一些NA值，我想使用var1和var2中其余值之间的线性回归来填充这些NA值。

请帮忙！如果需要更多信息，请告诉我。

- Kathiravan Meeran

---

你尝试了什么？运行一个线性模型（你的NAs将自动被省略），然后在带有NA的行上进行“预测”。用预测值填充原始数据。你卡在哪里了？你熟悉lm()吗？ - Gregor Thomas

不好意思，我不熟悉lm()函数。在stackoverflow上也找不到相关的帮助。你能给我展示一下吗？ - Kathiravan Meeran

Answer 1

这里是一个使用 lm 在 R 中预测值的例子。

library(dplyr)

# Construct linear model based on non-NA pairs
df2 <- df %>% filter(!is.na(var1))

fit <- lm(var1 ~ var2, data = df2)

# See the result
summary(fit)

# Call:
#   lm(formula = var1 ~ var2, data = df2)
# 
# Residuals:
#   1          2          3          4          5          6 
# 8.627e-15 -2.388e-15  1.546e-16 -9.658e-15 -2.322e-15  5.587e-15 
# 
# Coefficients:
#   Estimate Std. Error   t value Pr(>|t|)    
# (Intercept) 2.321e-14  5.619e-15 4.130e+00   0.0145 *  
#   var2        6.667e-01  4.411e-17 1.511e+16   <2e-16 ***
#   ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 7.246e-15 on 4 degrees of freedom
# Multiple R-squared:      1,   Adjusted R-squared:      1 
# F-statistic: 2.284e+32 on 1 and 4 DF,  p-value: < 2.2e-16
# 
# Warning message:
#   In summary.lm(fit) : essentially perfect fit: summary may be unreliable

# Use fit to predict the value
df3 <- df %>% 
  mutate(pred = predict(fit, .)) %>%
  # Replace NA with pred in var1
  mutate(var1 = ifelse(is.na(var1), pred, var1))

# See the result
df3 %>% as.data.frame()

#    time  var1   var2  pred
# 1    15  20.4  30.60  20.4
# 2    16  31.5  47.25  31.5
# 3    17  42.6  63.90  42.6
# 4    18  53.7  80.55  53.7
# 5    19  64.8  97.20  64.8
# 6    20  75.9 113.85  75.9
# 7    21  87.0 130.50  87.0
# 8    22  98.1 147.15  98.1
# 9    23 109.2 163.80 109.2
# 10   24 120.3 180.45 120.3
# 11   25 131.4 197.10 131.4
# 12   26 142.5 213.75 142.5

- www

Answer 2

这里是一个使用基础R中approx函数的一行代码：

newvar1<-approx(df$time, df$var1, xout=df$time)

这个函数将在相邻点之间应用线性逼近，而不是像“www”答案一样在所有点上应用线性逼近。通过这些数据，两种解决方案提供了相同的结果，因为时间和var1具有完美的线性关系，但并非总是如此。
xout选项指定估算新值的位置，在这种情况下，我正在传递原始时间向量。

相关：请参阅spline函数进行三次逼近。

- Dave2e

---

学习approx函数是很好的。所以我给了你一个赞。但如果我理解问题正确，OP要求在var1和var2之间进行线性回归，而你的解决方案仅在var1中进行线性插值。我理解得对吗？ - www

这是线性插值，用于填充var1中的NA值，假设time是独立变量。但是这个问题并不现实，因为time、var1和var2都是100%线性相关的。 - Dave2e

@Dave2e 感谢您的解决方案。感谢介绍approx函数。我将在需要使用时间填充变量的情况下使用它。再次感谢。 - Kathiravan Meeran

Answer 3

我意识到这是一个旧问题，但这可能是一种有用的暴力技术。

生成您的线性模型。

fit <- lm(var1 ~ var2, data = df)

将系数使用 coef() 函数保存到一个对象中。保留 HTML 标签，不要进行解释。

fit.c <- coef(fit)
fit.c

使用这些系数生成一个预测值作为新变量。方括号中的数字表示向量fit.c中系数的位置。fit.c[1]是截距。

df$pred <- fit.c[1] + fit.c[2]*df$var2

你可以在此时替换原始变量中的NA值。

df$var1[is.na(df$var1)] <- df$pred 

然而，我的直觉告诉我不要覆盖原始变量中的值，而是将pred用于您计划为var1使用的任何目的。

- BGM