我有一个大矩阵：
set.seed(1)
a <- matrix(runif(9e+07),ncol=300)
我想对矩阵中的每一行进行排序：
> system.time(sorted <- t(apply(a,1,sort)))
user system elapsed
42.48 3.40 45.88
我的RAM很充足，但我希望有一种更快的方法来执行此操作。
3个回答
7
嗯，我不知道有太多种在R中更快速地排序的方法，而且问题是你只需要对300个值进行排序，但是需要多次排序。尽管如此，你可以通过直接调用sort.int并使用method='quick'来寻求一些额外的性能提升：
set.seed(1)
a <- matrix(runif(9e+07),ncol=300)
# Your original code
system.time(sorted <- t(apply(a,1,sort))) # 31 secs
# sort.int with method='quick'
system.time(sorted2 <- t(apply(a,1,sort.int, method='quick'))) # 27 secs
# using a for-loop is slightly faster than apply (and avoids transpose):
system.time({sorted3 <- a; for(i in seq_len(nrow(a))) sorted3[i,] <- sort.int(a[i,], method='quick') }) # 26 secs
但更好的方式应该是使用并行包以并行方式对矩阵的部分进行排序。然而，数据传输的开销似乎太大，在我的机器上开始交换，因为我“只”有8 GB内存：
library(parallel)
cl <- makeCluster(4)
system.time(sorted4 <- t(parApply(cl,a,1,sort.int, method='quick'))) # Forever...
stopCluster(cl)
- Tommy
3
我希望有一种避免转置操作的方法，我认为这样可以加快速度。 - Zach
嗯，for循环避免了转置，但时间并不是花在那里。 - Tommy
@Zach - 我更新了我的答案，加入了一个并行解决方案，如果你有很多内存的话，也许它适用于你... - Tommy
5
包grr包含一种替代排序方法，可用于加快此特定操作的速度（我已将矩阵大小缩小了一些，以便此基准测试不会持续太久）：
> set.seed(1)
> a <- matrix(runif(9e+06),ncol=300)
> microbenchmark::microbenchmark(sorted <- t(apply(a,1,sort))
+ ,sorted2 <- t(apply(a,1,sort.int, method='quick'))
+ ,sorted3 <- t(apply(a,1,grr::sort2)),times=3,unit='s')
Unit: seconds
expr min lq mean median uq max neval
sorted <- t(apply(a, 1, sort)) 1.7699799 1.865829 1.961853 1.961678 2.057790 2.153902 3
sorted2 <- t(apply(a, 1, sort.int, method = "quick")) 1.6162934 1.619922 1.694914 1.623551 1.734224 1.844898 3
sorted3 <- t(apply(a, 1, grr::sort2)) 0.9316073 1.003978 1.050569 1.076348 1.110049 1.143750 3
当矩阵包含字符时，差异变得明显：
> set.seed(1)
> a <- matrix(sample(letters,size = 9e6,replace = TRUE),ncol=300)
> microbenchmark::microbenchmark(sorted <- t(apply(a,1,sort))
+ ,sorted2 <- t(apply(a,1,sort.int, method='quick'))
+ ,sorted3 <- t(apply(a,1,grr::sort2)),times=3)
Unit: seconds
expr min lq mean median uq max neval
sorted <- t(apply(a, 1, sort)) 15.436045 15.479742 15.552009 15.523440 15.609991 15.69654 3
sorted2 <- t(apply(a, 1, sort.int, method = "quick")) 15.099618 15.340577 15.447823 15.581536 15.621925 15.66231 3
sorted3 <- t(apply(a, 1, grr::sort2)) 1.728663 1.733756 1.780737 1.738848 1.806774 1.87470 3
所有三个结果都是相同的。
> identical(sorted,sorted2,sorted3)
[1] TRUE
- Craig
5
来自Martin Morgan的另一种优秀方法，不需要使用任何外部包在选择行中第i个最高值并分配给新列的最快方法:
matrix(a[order(row(a), a)], ncol=ncol(a), byrow=TRUE)
在同一链接下，对于按列排序的评论也有相应的等价方法。
使用与Craig相同的数据来计时代码：
set.seed(1)
a <- matrix(runif(9e7),ncol=300)
use_for <- function(){
sorted3 <- a
for(i in seq_len(nrow(a)))
sorted3[i,] <- sort.int(a[i,], method='quick')
sorted3
}
microbenchmark::microbenchmark(times=3L,
t(apply(a,1,sort)),
t(apply(a,1,sort.int, method='quick')),
use_for(),
Rfast::rowSort(a),
t(apply(a,1,grr::sort2)),
mmtd=matrix(a[order(row(a), a)], ncol=ncol(a), byrow=TRUE)
)
时间:
Unit: seconds
expr min lq mean median uq max neval
t(apply(a, 1, sort)) 24.233418 24.305339 24.389650 24.377260 24.467766 24.558272 3
t(apply(a, 1, sort.int, method = "quick")) 17.024010 17.156722 17.524487 17.289433 17.774726 18.260019 3
use_for() 13.384958 13.873367 14.131813 14.361776 14.505241 14.648705 3
Rfast::rowSort(a) 3.758765 4.607609 5.136865 5.456452 5.825914 6.195377 3
t(apply(a, 1, grr::sort2)) 9.810774 9.955199 10.310328 10.099624 10.560106 11.020587 3
mmtd 6.147010 6.177769 6.302549 6.208528 6.380318 6.552108 3
为了呈现一个更完整的图片，这里还有一个关于字符类的测试（不包括
Rfast::rowSort 因为它无法处理字符类）：set.seed(1)
a <- matrix(sample(letters, 9e6, TRUE),ncol=300)
microbenchmark::microbenchmark(times=1L,
t(apply(a,1,sort)),
t(apply(a,1,sort.int, method='quick')),
use_for(),
#Rfast::rowSort(a),
t(apply(a,1,grr::sort2)),
mmtd=matrix(a[order(row(a), a, method="radix")], ncol=ncol(a), byrow=TRUE)
)
时间：
Unit: milliseconds
expr min lq mean median uq max neval
t(apply(a, 1, sort)) 14848.4356 14848.4356 14848.4356 14848.4356 14848.4356 14848.4356 1
t(apply(a, 1, sort.int, method = "quick")) 15061.0993 15061.0993 15061.0993 15061.0993 15061.0993 15061.0993 1
use_for() 14144.1264 14144.1264 14144.1264 14144.1264 14144.1264 14144.1264 1
t(apply(a, 1, grr::sort2)) 1831.1429 1831.1429 1831.1429 1831.1429 1831.1429 1831.1429 1
mmtd 440.9158 440.9158 440.9158 440.9158 440.9158 440.9158 1
面对面比较：
set.seed(1)
a <- matrix(sample(letters, 9e7, TRUE),ncol=300)
microbenchmark::microbenchmark(times=1L,
t(apply(a,1,grr::sort2)),
mmtd=matrix(a[order(row(a), a, method="radix")], ncol=ncol(a), byrow=TRUE)
)
时间：
Unit: seconds
expr min lq mean median uq max neval
t(apply(a, 1, grr::sort2)) 19.273225 19.273225 19.273225 19.273225 19.273225 19.273225 1
mmtd 3.854117 3.854117 3.854117 3.854117 3.854117 3.854117 1
版本 R：
R version 4.0.3 (2020-10-10)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 10 x64 (build 18363)
- chinsoon12
2
1
matrix(a[order(row(a), a)], ncol=ncol(a))需要一个byrow=TRUE。 - Ł Łaniewski-Wołłk2在
Rfast::rowSort 函数中使用参数 parallel 可以进一步减少时间。 - Manos Papadakis网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接