MATLAB内存不足，但实际上应该不会出现这种情况。

Question

MATLAB内存不足，但实际上应该不会出现这种情况。

matlabmemoryout-of-memorylinear-algebrapca

9

我正在尝试使用已标准化的数据运用PCA，方法是使用princomp(x)。该数据为<16 x 1036800 double>。由于这是一台新电脑，内存为24GB，用于数据挖掘。然而，内存不足是可以预见的，但MATLAB在执行PCA时是否实际上已经耗尽了内存？或者MATLAB没有充分利用内存？任何信息或想法都会有所帮助。（我可能需要增加虚拟内存，但认为24GB应该已经足够。）

- user379362

这可能更适合在Serverfault上提问。 - Miro A.

4

@Miro A.：嗯，不是这样的。与服务器或网络无关。 - nico

@nico 你可能是对的。我想的是Superuser.com，而不是serverfault——我的错。 - Miro A.

1

不要忘记，为了保存单个矩阵/向量，您需要有一个连续的内存空间可用...这肯定不是24GB。在总可用内存之后，“memory”命令还应告诉您单个变量的最大大小（最大连续空间）。 - Hoki

3个回答

1

Matlab在矩阵大小方面有硬编码限制。请查看this link。如果您认为您没有达到这些限制，那么您可能在代码中有一个错误并且实际上已经超出了限制。

- Donnie

0

Mathworks工程师Stuart McGarrity录制了一场精彩的网络研讨会，介绍了诊断技术和常见解决方案。如果您的数据确实在允许范围内，问题可能是内存碎片化 - 这是很容易解决的。

- Ofek Shilon

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Amro · Accepted Answer

对于一个大小为n-by-p的数据矩阵，PRINCOMP将返回一个大小为p-by-p的系数矩阵，其中每一列都是使用原始维度表示的主成分，因此在您的情况下，您将创建一个大小为：的输出矩阵。

1036800*1036800*8 bytes ~ 7.8 TB

考虑使用PRINCOMP(X,'econ')仅返回具有显着方差的主成分。

或者，考虑执行PCA by SVD：在您的情况下n<<p，且协方差矩阵无法计算。因此，不需要分解p×p矩阵XX'，只需分解较小的n×n矩阵X'X即可。参考this paper。

编辑：

这是我的实现，该函数的输出与PRINCOMP（至少前三个）匹配：

function [PC,Y,varPC] = pca_by_svd(X)
    % PCA_BY_SVD
    %   X      data matrix of size n-by-p where n<<p
    %   PC     columns are first n principal components
    %   Y      data projected on those PCs
    %   varPC  variance along the PCs
    %

    X0 = bsxfun(@minus, X, mean(X,1));     % shift data to zero-mean
    [U,S,PC] = svd(X0,'econ');             % SVD decomposition
    Y = X0*PC;                             % project X on PC
    varPC = diag(S'*S)' / (size(X,1)-1);   % variance explained
end

我刚刚在我的4GB机器上试了一下，运行得非常好：

» x = rand(16,1036800);
» [PC, Y, varPC] = pca_by_svd(x);
» whos
  Name             Size                     Bytes  Class     Attributes

  PC         1036800x16                 132710400  double              
  Y               16x16                      2048  double              
  varPC            1x16                       128  double              
  x               16x1036800            132710400  double

更新：

princomp函数已被弃用，推荐使用在R2012b引入的pca函数，该函数包含更多选项。