如何在大型稀疏的Scipy矩阵中近似计算相关矩阵？

Question

5

为了解决这个问题，我目前使用了该帖子中的解决方案，但是由于我的矩阵A的大小为600万到40000的矩阵，因此它会像预期的那样出现内存错误。因此，我正在寻找任何其他解决方案来近似相关矩阵。如何解决这个问题？任何帮助都将不胜感激。

- erogol

首先，您需要回答以下问题：矩阵中有多少个非零元素。将此数字称为nnz。存储它们所需的内存约为16e-9*nnz千兆字节。您需要多少千兆字节？ - pv.

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- cyborg · Accepted Answer

你的问题是无法在内存中保存结果（6e6^2个值？）。

您可以从原始矩阵中删除行。例如，如果您正在搜索高度相关的行，则可能希望对行进行聚类，以便解决问题。

您还可以使用scipy.sparse.linalg.svds来缩小列数。但仍需要处理行^2的相关性。