这个问题是关于 MLlib(Spark 1.2.1+)的。
在本地矩阵(中等大小,小于100x100,因此不需要分布式)中进行操作的最佳方法是什么。
例如,在计算数据集的 SVD 之后,我需要执行一些矩阵操作。 RowMatrix
仅提供乘法函数。toBreeze 方法返回一个 DenseMatrix<Object>
,但 API 似乎不太友好:
public final <TT, B, That> That $plus(B b, UFunc.UImpl2<OpAdd$,TT,B,That> op)
在 Spark+Java 中,如何执行以下任何操作:
- 转置矩阵
- 添加 / 减去两个矩阵
- 裁剪矩阵
- 执行逐元素操作
- 等等
Javadoc RowMatrix: https://spark.apache.org/docs/latest/api/java/org/apache/spark/mllib/linalg/distributed/RowMatrix.html
RDD<Vector> data = ...;
RowMatrix matrix = new RowMatrix(data);
SingularValueDecomposition<RowMatrix, Matrix> svd = matrix.computeSVD(15, true, 1e-9d);
RowMatrix U = svd.U();
Vector s = svd.s();
Matrix V = svd.V();
//Example 1: How to compute transpose(U)*matrix
//Example 2: How to compute transpose(U(:,1:k))*matrix
编辑: 感谢dlwh指导我找到正确的方向,下面的解决方案有效:
import no.uib.cipr.matrix.DenseMatrix;
// ...
RowMatrix U = svd.U();
DenseMatrix U_mtj = new DenseMatrix((int) U.numCols(), (int) U.numRows(), U.toBreeze().toArray$mcD$sp(), true);
// From there, matrix operations are available on U_mtj