使用R对数据进行分组标准化/白化/重新缩放

Question

我有一些分组数据, 其中的特征具有非常不同的范围。我想通过每个组来标准化每个特征。此外, 我希望在任意大的特征选择上执行此操作(通过名称提供, 例如下面的standardise.vars)。在R中完成这项任务的最佳方法是什么?

到目前为止, 我的做法如下：

DT <- data.table(mtcars)
group.vars <- c('cyl', 'am')
setkeyv(DT, group.vars)
standardise.vars <- c('disp','hp')
mns <- DT[, lapply(.SD, mean), .SDcols = standardise.cols, by = group.vars]
sds <- DT[, lapply(.SD, sd), .SDcols = standardise.cols, by = group.vars]
merged <- merge(mns, sds, suffixes = c('.mean', '.sd'))
DT[merged, ]

这让我的标准化列旁边打印出了它们的平均数和标准差。现在我需要对所有列 x 进行操作 (x - x.mean) / x.std。

     mpg cyl  disp  hp drat    wt  qsec vs am gear carb disp.mean   hp.mean   disp.sd    hp.sd
 1: 24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2  135.8667  84.66667 13.969371 19.65536
 2: 22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2  135.8667  84.66667 13.969371 19.65536
 3: 21.5   4 120.1  97 3.70 2.465 20.01  1  0    3    1  135.8667  84.66667 13.969371 19.65536
...

然而，我认为这是一种不好的方法，我本可以一步达到标准化。如有帮助，欢迎指出我对的误用或潜在使用的可能性。

使用的这种方法接近于理想格式（删除周围的会导致错误）：

DT[, list(disp.scaled = list(scale(disp)), 
     hp.scaled = list(scale(hp))), by = .(cyl,am)]

   cyl am                                                        disp.scaled
1:   4  0                                    0.7755062, 0.3531536,-1.1286597
2:   4  1  0.7026252,-0.7282640,-0.8747715,-1.0994162,-0.7136133, 1.3033057,
3:   6  0                         1.1946100, 0.4570585,-0.8258343,-0.8258343
4:   6  1                                    0.5773503, 0.5773503,-1.1547005
5:   8  0  0.0331832, 0.0331832,-1.1391352,-1.1391352,-1.1391352, 1.5925615,
6:   8  1                                               0.7071068,-0.7071068
                                                            hp.scaled
1:                                   -1.1532051, 0.5257259, 0.6274793
2:  0.4910526,-0.7007155,-1.3186693,-0.7448550,-0.7007155, 0.4027735,
3:                        -0.5719714,-1.1167062, 0.8443388, 0.8443388
4:                                   -0.5773503,-0.5773503, 1.1547005
5: -0.5745432, 1.5237884,-0.4246623,-0.4246623,-0.4246623, 0.3247418,
6:                                              -0.7071068, 0.7071068

这种使用 dplyr 的方法非常接近，但在 group_by_ 上做了一些奇怪的事情（它可以使用 group_by）：

ans <- DT %>% group_by(cyl, am) %>% 
    mutate_each_(funs(scale), standardise.vars)
ans2 <- DT %>% group_by_(group.vars) %>% 
    mutate_each_(funs(scale), standardise.vars)
truth <- filter(DT,am==0,cyl==4) %>% 
    transmute((disp - mean(disp))/sd(disp))
cbind(DT[,.(cyl,am,disp)], ans[,disp], ans2[,disp], truth)[1:3]

   cyl am  disp         V2       V3 (disp - mean(disp))/sd(disp)
1:   4  0 146.7  0.7755062 1.546750                    0.7755062
2:   4  0 140.8  0.3531536 1.327187                    0.3531536
3:   4  0 120.1 -1.1286597 0.556857                   -1.1286597

- James Owers

---

是的，但我能将其应用于按组分列的列表吗？ - James Owers

抱歉，如果我在这里有点愚钝，但我没有看到在 lapply 或 scale 中执行分组操作的选项。你介意在下面的答案中扩展一下你的解决方案吗？ - James Owers

我已经在上面添加了说明，如果有帮助的话。 - James Owers

Answer 1

假设我们想通过由group.vars定义的组中的变量来标准化standardise.vars中的变量：

DT <- data.table(mtcars)
group.vars <- c('cyl', 'am')
standardise.vars <- c('disp','hp')

我认为使用 dplyr 解决这个问题是可行的：

DT <- DT %>% group_by_(.dots=group.vars) %>% 
    mutate_each_(funs(scale), standardise.vars)

为了完整起见，您可以通过 data.table 这样做：

myscale <- function(x){
    (x - mean(x)) / sd(x)
}
DT[, (standardise.vars) := lapply(.SD, myscale), 
   .SDcols = standardise.vars, by = group.vars]

- James Owers