如何使用apply函数计算两个矩阵之间的距离。

Question

我正在尝试计算两个矩阵之间的欧几里得距离。我已经使用了 2 个for循环，但是在尝试矢量化计算以加快速度。我使用 pdist 作为基准来验证距离是否被正确计算。

感谢这篇文章：https://medium.com/@souravdey/l2-distance-matrix-vectorization-trick-26aa3247ac6c，我尝试使用以下代码在r中实现相同的内容：

dist <- sqrt(rowSums(xtest**2)+rowSums(xtrain**2)-2*xtrain %*% t(xtest))

但结果与 pdist 的输出不同。我不确定哪里出了问题。

以下是一些代码：

创建一些数据

xtest=matrix(cbind(c(0,0),c(1,31)),2,2,byrow=TRUE)
xtrain=matrix(cbind(c(9,2),c(4,15),c(7,8),c(-22,-2)),4,2,byrow=TRUE)

使用双重循环进行计算

mydist <- function(xtest,xtrain) {
  euc.dist <- function(x1, x2) sqrt(sum((x1 - x2) ^ 2))
  dist <- matrix(,nrow=nrow(xtrain),ncol=nrow(xtest))
  for (i in 1:nrow(xtrain)){
    for (j in 1:nrow(xtest)){
      dist[i,j] <- euc.dist(xtrain[i,], xtest[j,])
    }
  }
  return (dist)
}
> mydist(xtest,xtrain)
          [,1]     [,2]
[1,]  9.219544 30.08322
[2,] 15.524175 16.27882
[3,] 10.630146 23.76973
[4,] 22.090722 40.22437

结果与使用pdist相同。

> libdists <- pdist(xtrain,xtest)
> as.matrix(libdists)
          [,1]     [,2]
[1,]  9.219544 30.08322
[2,] 15.524175 16.27882
[3,] 10.630146 23.76973
[4,] 22.090721 40.22437

但是如果我使用矩阵乘法方法，结果是错误的。

> mydist2 <- function(xtest,xtrain) {
+   dist <- sqrt(rowSums(xtest**2)+rowSums(xtrain**2)-2*xtrain %*% t(xtest))
+   return (dist)
+ }
> mydist2(xtest,xtrain)
          [,1]     [,2]
[1,]  9.219544      NaN
[2,] 34.684290 16.27882
[3,] 10.630146      NaN
[4,] 38.078866 40.22437

我也尝试使用mapply函数。

> mydist3 <- function(xtest,xtrain) {
+   euc.dist <- function(x1, x2) sqrt(sum((x1 - x2) ^ 2))
+   dist <- mapply(euc.dist, xtest,xtrain)
+   return (dist)
+ }
> mydist3(xtest,xtrain)
[1]  9  3  7 53  2 14  8 33

我认为这个计算方法是按元素进行计算，而不是把每一行作为向量来计算两个向量之间的距离。

如果有任何建议，将不胜感激！

- Ray

Answer 1

使用两个apply实例，第二个嵌套在第一个中：

d1 <- apply(xtest, 1, function(x) apply(xtrain, 1, function(y) sqrt(crossprod(x-y))))

使用 pdist 进行检查：

library(pdist)
d2 <- as.matrix(pdist(xtrain, xtest))

all.equal(d1, d2, tolerance = 1e-7)
## [1] TRUE

- G. Grothendieck