在新版本的Armadillo (5.300)之后进行编辑
在StackOverflow上进行了最初的问答之后，Conrad Sanderson和我就这个问题进行了一些邮件讨论。按照设计，arma::cube对象为每个切片（第三个维度）创建一个arma::mat。即使从现有内存中复制数据（如原始问题中所述），在创建cube时也会执行此操作。由于这并不总是需要的，我建议应该有一个选项来禁用对切片进行矩阵预分配。截至目前的Armadillo版本（5.300.4），现在已经有了这个选项。可以从CRAN安装。
示例代码：
library(RcppArmadillo)
library(inline)
code <- "
Rcpp::NumericVector input_(input);
arma::cube disturb(input_.begin(), 2, 2, 50000000, false, true, false);
return wrap(2);
"
Test <- cxxfunction(signature(input = "numeric"), plugin = "RcppArmadillo", body = code)
input <- array(rnorm(2 * 2 * 50000000), dim = c(2, 2, 50000000))
Test(input)
关键在于现在使用
arma::cube disturb(input.begin(), 2, 2, 50000000, false, true, false);调用了
cube构造函数。这里的最后一个
false是新的
prealloc_mat参数，它确定是否预分配矩阵。在没有预分配矩阵的情况下，
slice方法仍然可以正常工作 - 矩阵将按需分配。但是，如果您直接访问
cube的
mat_ptrs成员，则会填充
NULL指针。
帮助也已更新。
非常感谢Conrad Sanderson迅速提供了这个额外选项，并感谢Dirk Eddelbuettel在Rcpp和RcppArmadillo上的所有工作！
原始答案
这有点奇怪。我尝试了各种不同的数组大小，问题只出现在第三个维度远大于其他两个维度的数组中。以下是一个可重现的示例：
library("RcppArmadillo")
library("inline")
code <- "
Rcpp::NumericVector input_(input);
IntegerVector dim = input_.attr(\"dim\");
arma::cube disturb(input_.begin(), dim[0], dim[1], dim[2], false);
disturb[0, 0, 0] = 45;
return wrap(2);
"
Test <- cxxfunction(signature(input = "numeric"), plugin = "RcppArmadillo", body = code)
input <- array(0, c(1e7, 2, 2))
Test(input)
dim(input) <- c(2, 1e7, 2)
gc()
Test(input)
dim(input) <- c(2, 2, 1e7)
gc()
Test(input)
dim(input) <- c(20, 2, 1e6)
gc()
Test(input)
这表明与
Aramadillo库的实现方式有关（或可能与
RcppArmadillo有关）。它肯定不是你做错了什么。请注意，我已经进行了一些修改来代替数据（将第一个元素设置为45），并且您可以确认在每种情况下数据确实是就地修改的，这表明没有发生复制。目前，我建议如果可能的话，组织您的3D数组，使最大的维度不是第三个维度。编辑后，经过更深入的挖掘，看起来在创建
arma::cube时确实分配了RAM。在中，在
create_mat方法中，有以下代码：
if(n_slices <= Cube_prealloc::mat_ptrs_size)
{
access::rw(mat_ptrs) = const_cast< const Mat<eT>** >(mat_ptrs_local);
}
else
{
access::rw(mat_ptrs) = new(std::nothrow) const Mat<eT>*[n_slices];
arma_check_bad_alloc( (mat_ptrs == 0), "Cube::create_mat(): out of memory" );
}
}
Cube_prealloc::mat_ptrs_size 看起来是4，因此对于任何具有超过4个切片的数组，这实际上都是一个问题。
我在github上发布了一个问题。
EDIT2 然而，这绝对是底层Armadillo代码的问题。以下是一个可重现的例子，完全不使用Rcpp。这仅适用于Linux-它使用来自如何在c++中获取运行时内存使用情况？的代码来提取正在运行的进程的当前内存使用情况。
#include <iostream>
#include <armadillo>
#include <unistd.h>
#include <ios>
#include <fstream>
#include <string>
void process_mem_usage(double& vm_usage, double& resident_set)
{
using std::ios_base;
using std::ifstream;
using std::string;
vm_usage = 0.0;
resident_set = 0.0;
ifstream stat_stream("/proc/self/stat",ios_base::in);
string pid, comm, state, ppid, pgrp, session, tty_nr;
string tpgid, flags, minflt, cminflt, majflt, cmajflt;
string utime, stime, cutime, cstime, priority, nice;
string O, itrealvalue, starttime;
unsigned long vsize;
long rss;
stat_stream >> pid >> comm >> state >> ppid >> pgrp >> session >> tty_nr
>> tpgid >> flags >> minflt >> cminflt >> majflt >> cmajflt
>> utime >> stime >> cutime >> cstime >> priority >> nice
>> O >> itrealvalue >> starttime >> vsize >> rss;
stat_stream.close();
long page_size_kb = sysconf(_SC_PAGE_SIZE) / 1024;
vm_usage = vsize / 1024.0;
resident_set = rss * page_size_kb;
}
using namespace std;
using namespace arma;
void test_cube(double* numvec, int dim1, int dim2, int dim3) {
double vm, rss;
cout << "Press enter to continue";
cin.get();
process_mem_usage(vm, rss);
cout << "Before:- VM: " << vm << "; RSS: " << rss << endl;
cout << "cube c1(numvec, " << dim1 << ", " << dim2 << ", " << dim3 << ", false)" << endl;
cube c1(numvec, dim1, dim2, dim3, false);
process_mem_usage(vm, rss);
cout << "After:- VM: " << vm << "; RSS: " << rss << endl << endl;
}
int
main(int argc, char** argv)
{
double* numvec = new double[40000000];
test_cube(numvec, 10000000, 2, 2);
test_cube(numvec, 2, 10000000, 2);
test_cube(numvec, 2, 2, 1000000);
test_cube(numvec, 2, 2, 2000000);
test_cube(numvec, 4, 2, 2000000);
test_cube(numvec, 2, 4, 2000000);
test_cube(numvec, 4, 4, 2000000);
test_cube(numvec, 2, 2, 10000000);
cout << "Press enter to finish";
cin.get();
return 0;
}
编辑3 根据上面的
create_mat 代码，一个
arma::mat被创建用于每一个立方体的切片。在我的64位机器上，这会导致每个切片有184字节的开销。对于一个有5e7个切片的立方体来说，这相当于8.6 GiB的开销，尽管底层的数值数据只占用了1.5 GiB。我已经给Conrad Sanderson发送了电子邮件询问这是否是Armadillo工作方式的基本特性或者是否可以更改，但目前看来，如果可能的话，你希望你的
slice 维度（第三个维度）是三个维度中最小的。值得注意的是，这适用于
所有的
cube，而不仅仅适用于从现有内存创建的那些。使用
arma::cube(dim1, dim2, dim3) 构造函数会导致相同的内存使用情况。
arma :: mat的问题，但我使用arma :: cube时遇到了完全相同的问题。这可能与Rcpp中缺少适当的3D数组类有关吗？ - Nick Kennedy