我正在尝试比较矩阵中的每一行与其他所有行,以计算每一行与其他所有行之间的差异数。然后将结果存储在矩阵的左下三角形中。
例如,当第一行m[1,]与第二行m[2,]和第三行m[3,]进行比较时,差异计数将存储在结果矩阵的mat[c(2:3), 1]位置。
我的问题是,我的输入矩阵最多可以有1e+07行,当前实现(速度和内存)由于n^2次比较而无法扩展。希望得到建议和帮助。
例如,当第一行m[1,]与第二行m[2,]和第三行m[3,]进行比较时,差异计数将存储在结果矩阵的mat[c(2:3), 1]位置。
我的问题是,我的输入矩阵最多可以有1e+07行,当前实现(速度和内存)由于n^2次比较而无法扩展。希望得到建议和帮助。
diffMatrix <- function(x) {
rows <- dim(x)[1] #num of rows
cols <- dim(x)[2] #num of columns
if (rows <= 1) stop("'x' must have atleast two rows")
#potential failure point
mat <- matrix(, rows, rows)
# fill bottom left triangle columns ignoring the diagonal
for (row in 1:(rows-1)) {
rRange <- c((1+row):rows)
m <- matrix(x[row,], nrow=rows-row, ncol=cols, byrow = T)
mat[rRange, row] <- rowSums(m != x[-1:-row, ])
}
return (mat)
}
m <- matrix(sample(1:12, 12, replace=T), ncol=2, byrow=TRUE)
m
# [,1] [,2]
#[1,] 8 1
#[2,] 4 1
#[3,] 8 4
#[4,] 4 5
#[5,] 3 1
#[6,] 2 2
x <- diffMatrix(m)
x
# [,1] [,2] [,3] [,4] [,5] [,6]
#[1,] NA NA NA NA NA NA
#[2,] 1 NA NA NA NA NA
#[3,] 1 2 NA NA NA NA
#[4,] 2 1 2 NA NA NA
#[5,] 1 1 2 2 NA NA
#[6,] 2 2 2 2 2 NA
m <- matrix(sample(1:5, 50000, replace=T), ncol=10, byrow=TRUE)
# system.time(x <- diffMatrix(m))
# user system elapsed
# 20.39 0.38 21.43
n^2
个比较。除非您可以预先计算此矩阵并将其存储以供客户端稍后查找,否则您所要求的实际上是不可能的。 - Scott Ritchie