根据因素删除重复行

Question

我希望能够根据不同的因素和条件（例如最高均值或标准差），从分层数据框中删除重复行。

有一些数据，a是因素，也是行的id。

set.seed(13654)
a<- sort(c(1,1,4,1,2,3,2,3,1,5))
b<- matrix(runif(100,min = 6,max = 14),nrow = 10)
c<- data.frame(a,b)  

例如，我想通过行的平均值最高来减少最终数据集。

# calculate means per row
gr <- cbind(a,M=rowMeans(c[,-1]))
# get rows stratified by a with highest mean:
gr1 <- aggregate(M~a,gr,which.max)
gr1
  a M
1 1 3
2 2 2
3 3 1
4 4 1
5 5 1

因此，应该在新数据框中包含因子水平1的第三行、因子水平2的第二行等。我希望避免使用循环。我尝试过对数据进行split，然后使用lapply，但目前为止还没有成功。

cl <- split(c,a)
# this function does not work it will select not the correct rows. 
lapply(cl, "[", gr1, )

我的最终目标是实现以下这样的函数：

remove.dupl <- function(data,factor,method=c(highest.mean,highest.sd,lowest.sd,...))

您能为我的问题提供一些提示或解决方案吗？按照我的工作流程，我需要一个“如何”使用"["来正确地选取数据框列表中的不同行的操作方法。

- Roman

Answer 1

尝试使用by()函数：

set.seed(13654)
a <- sort(c(1,1,4,1,2,3,2,3,1,5))
b <- matrix(runif(100,min = 6,max = 14),nrow = 10)
c <- data.frame(a,b)
myfun <- function(x) which.max(rowMeans(x))                   # just replicating your example, you could define other functions here
d <- by(data = c, INDICES = c$a, function(x) x[myfun(x), ])   # use by() to select rows, based on myfun()
d <- do.call(rbind, d)                                        # turn result of by() function into a data frame

- Han de Vries

---

by 的使用很好。加一分。 - akrun

Answer 2

使用 data.table 包，我会按照以下方式处理：

library(data.table)
# method 1:
setDT(cc)[, `:=` (rn = 1:.N, wm = which.max(rowMeans(.SD))), a][rn==wm]
# method 2:
setDT(cc)[, wm := frank(1/rowMeans(.SD), ties.method="first"), a][wm==1]

这将会得到：

   a        X1        X2        X3        X4        X5        X6        X7        X8       X9       X10 wm rn
1: 1 13.946254  7.302729  9.406389  8.924367  8.129423 10.174735  6.547805 11.618872 12.84100  9.494790  3  3
2: 2 13.606555 12.798149 11.261258 12.991822 12.875935 11.199411  8.551149 10.377451 13.63219 13.643163  2  2
3: 3  6.820769 13.748507 11.630297 11.559873  6.196406  8.925419 11.230415 10.584249 10.41442  6.821673  1  1
4: 4  8.418767 10.673998  6.693021 11.101287  7.855519  9.106210 12.279536  6.925023  6.92334 10.279204  1  1
5: 5 11.529072  7.940031 10.746172  8.535466 13.703122 12.294424 11.362498 11.256843 13.95535 13.264835  1  1

在基本的 R 语言中，您可以这样做：

cc$rm <- apply(cc[,-1], 1, mean)
cc$wm <- ave(cc$rm, cc$a, FUN = function(x) max(x)==x)
cc[cc$wm == 1,]

这将会给出：

   a        X1        X2        X3        X4        X5        X6        X7        X8       X9       X10        rm wm
3  1 13.946254  7.302729  9.406389  8.924367  8.129423 10.174735  6.547805 11.618872 12.84100  9.494790  9.838637  1
6  2 13.606555 12.798149 11.261258 12.991822 12.875935 11.199411  8.551149 10.377451 13.63219 13.643163 12.093708  1
7  3  6.820769 13.748507 11.630297 11.559873  6.196406  8.925419 11.230415 10.584249 10.41442  6.821673  9.793203  1
9  4  8.418767 10.673998  6.693021 11.101287  7.855519  9.106210 12.279536  6.925023  6.92334 10.279204  9.025591  1
10 5 11.529072  7.940031 10.746172  8.535466 13.703122 12.294424 11.362498 11.256843 13.95535 13.264835 11.458781  1

作为回应您的评论：作为替代方案，您可以在ave函数内使用rank函数：

# duplicate the row for which 'max(x)==x' for the first group
cc <- rbind(cc,cc[3,])

cc$wm2 <- ave(cc$rm, cc$a, FUN = function(x) rank(-x, ties.method = "first"))
cc[cc$wm2 == 1,]

这将会给出：

   a        X1        X2        X3        X4        X5        X6        X7        X8       X9       X10        rm wm wm2
3  1 13.946254  7.302729  9.406389  8.924367  8.129423 10.174735  6.547805 11.618872 12.84100  9.494790  9.838637  1   1
6  2 13.606555 12.798149 11.261258 12.991822 12.875935 11.199411  8.551149 10.377451 13.63219 13.643163 12.093708  1   1
7  3  6.820769 13.748507 11.630297 11.559873  6.196406  8.925419 11.230415 10.584249 10.41442  6.821673  9.793203  1   1
9  4  8.418767 10.673998  6.693021 11.101287  7.855519  9.106210 12.279536  6.925023  6.92334 10.279204  9.025591  1   1
10 5 11.529072  7.940031 10.746172  8.535466 13.703122 12.294424 11.362498 11.256843 13.95535 13.264835 11.458781  1   1

---

注意：我将数据框重命名为cc，因为最好不要使用函数名称作为数据框的名称。

- Jaap

---

非常感谢，但我更喜欢基于R的解决方案。不过我会记住这个建议的。 - Roman

@Jimbou 没问题，我还添加了一个基于R的备用解决方案。 - Jaap

如果您需要删除重复项，您将如何优化您的ave函数？例如，max(x)==x仅返回TRUE或多个TRUE。 - Roman

@Jimbou，我已经更新了我的答案。这符合你的要求吗？ - Jaap