替换每个组的异常值

Question

我尝试使用by函数来替换数据框中许多变量的异常值，根据组变量进行操作。以下是我的努力，但是我遇到了一个错误。

# R code:
library(tidyverse)
library(dplyr)
# outlier function definition
my_outlier <- function(x){
 stats <- boxplot.stats(unlist(x))
 outlier <- stats$out
 outlier_idx <- which(unlist(x) %in% outlier)
 max <- max(x[-outlier_idx]); min <- min(x[-outlier_idx])
 x <- ifelse(x>max, max,ifelse(x < min, min, x) ) 
 return(x)
}
# use the above defined func to  substitue outliers of 1 variable in a dataframe, according to a Group variable.
group_data <- as_tibble(data.frame(x=c(runif(10),2.5,-2.3,runif(10,1,2),3.5,-1.5), group=c(rep(1,12),rep(2,12)) ) )

View(group_data)
by(group_data$x, group_data$group, my_outlier, simplify=FALSE)
# use the above defined func to  substitue outliers of 1+ variable in a dataframe, according to a Group variable.    
group_datas <- as_tibble(data.frame(x=c(runif(10),2.5,-2.3,runif(10,1,2),3.5,-1.5), 
                               y=c(runif(10,2,3),4,-1,runif(10,3,4),6,-1),
                               group=c(rep(1,12),rep(2,12)) ) )
by(group_data[,1:2], group_data$group, my_outlier)

当我使用自定义函数来替换数据框中一个或多个变量的异常值时，根据分组变量进行操作时，出现了错误。

我不知道我的代码哪一部分引起了这个错误。

- Lan.Jinchi

---

你缺少列索引，你想在 max <- max(x[-outlier_idx]); min <- min(x[-outlier_idx]) 中计算最大值的是哪一列？如果你想包括分组列在内计算整个矩阵，你需要在 outlier_idx 后加上逗号，如 max <- max(x[-outlier_idx,]); min <- min(x[-outlier_idx,])。同时请注意，ifelse 只返回标量而不是向量。 - discipulus

Answer 1

对于多元异常值，boxplot.stats 无法使用，您可以使用软件包 outliers 中的 outlier 测试：

library(outliers)
my_outlier2 <- function(x, plot=TRUE){
  x <- as.matrix(x)
  outlier <- rbind(outlier(x),outlier(x,opposite=TRUE))
  outlier_idx <- which(duplicated(rbind(x, outlier), fromLast=TRUE))#which(apply(mapply(x, outlier, FUN="=="), MARGIN=1, FUN=all))
  if (plot) { # if 2-D data, visualize
    plot(x[,1], x[,2], pch=19, xlab='x', ylab='y')
    points(x[outlier_idx,1], x[outlier_idx,2], col='red', pch=8, cex=2)
    legend('topleft', legend=c('non-outlier', 'outlier'), pch=c(19, 8), col=c('black', 'red'))
  }
  x <- x[-outlier_idx,]
  return(x)
}

# use the above defined func to  substitue outliers of 1+ variable in a dataframe, according to a Group variable.    
group_datas <- as_tibble(data.frame(x=c(runif(10),2.5,-2.3,runif(10,1,2),3.5,-1.5), 
                                    y=c(runif(10,2,3),4,-1,runif(10,3,4),6,-1),
                                    group=c(rep(1,12),rep(2,12)) ) )
by(group_datas[,1:2], group_datas$group, my_outlier2)

- Sandipan Dey