我有一个很大的numpy数组，当我运行scikit-learn的train_test_split将数组拆分为训练和测试数据时，总是遇到内存错误。有什么更节省内存的方法来拆分训练和测试数据集，并且为什么train_test_split会导致这种情况？
以下代码会导致内存错误并崩溃。
import numpy as np
from sklearn.cross_validation import train_test_split
X = np.random.random((10000,70000))
Y = np.random.random((10000,))
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.33, random_state=42)
我尝试过的一种方法是将X存储在Pandas数据帧中并进行混洗。
X = X.reindex(np.random.permutation(X.index))
当我尝试时，我遇到了相同的内存错误
np.random.shuffle(X)
然后，我将Pandas数据帧转换回NumPy数组，并使用此函数，可以获得训练测试拆分。
#test_proportion of 3 means 1/3 so 33% test and 67% train
def shuffle(matrix, target, test_proportion):
ratio = int(matrix.shape[0]/test_proportion) #should be int
X_train = matrix[ratio:,:]
X_test = matrix[:ratio,:]
Y_train = target[ratio:,:]
Y_test = target[:ratio,:]
return X_train, X_test, Y_train, Y_test
X_train, X_test, Y_train, Y_test = shuffle(X, Y, 3)
目前这个方法可以使用，当我想进行k折交叉验证时，我可以循环k次并打乱pandas dataframe的顺序。虽然目前这足够了，但为什么numpy和sci-kit learn的shuffle和train_test_split实现在处理大型数组时会导致内存错误？
使用sklearn的split方法减少内存使用的另一种方法是生成X的索引向量并在此向量上进行分割。之后，您可以选择条目并将训练和测试拆分写入磁盘。
import h5py
import numpy as np
from sklearn.cross_validation import train_test_split
X = np.random.random((10000,70000))
Y = np.random.random((10000,))
x_ids = list(range(len(X)))
x_train_ids, x_test_ids, Y_train, Y_test = train_test_split(x_ids, Y, test_size = 0.33, random_state=42)
# Write
f = h5py.File('dataset/train.h5py', 'w')
f.create_dataset(f"inputs", data=X[x_train_ids], dtype=np.int)
f.create_dataset(f"labels", data=Y_train, dtype=np.int)
f.close()
f = h5py.File('dataset/test.h5py', 'w')
f.create_dataset(f"inputs", data=X[x_test_ids], dtype=np.int)
f.create_dataset(f"labels", data=Y_test, dtype=np.int)
f.close()
# Read
f = h5py.File('dataset/train.h5py', 'r')
X_train = np.array(f.get('inputs'), dtype=np.int)
Y_train = np.array(f.get('labels'), dtype=np.int)
f.close()
f = h5py.File('dataset/test.h5py', 'r')
X_test = np.array(f.get('inputs'), dtype=np.int)
Y_test = np.array(f.get('labels'), dtype=np.int)
f.close()
我在代码中遇到了同样的问题。我像你一样使用了密集数组，结果内存不足。我把我的训练数据转换成了稀疏数据（我正在进行文档分类），并解决了这个问题。
我认为一种更“内存高效”的方法是迭代地选择用于训练和测试的实例（尽管，如计算机科学中通常的那样，您会牺牲使用矩阵固有的效率）。
您可以遍历数组，并针对每个实例，“掷硬币”（使用随机包）来确定是否将实例用作训练或测试，并根据情况将实例存储在适当的numpy数组中。
这种迭代方法对于仅有10000个实例并不会很差。但是，有趣的是，10000 X 70000并不算太大；您正在运行什么类型的机器？这让我想知道它是Python/numpy/scikit问题还是机器问题...
无论如何，希望这有所帮助！