我正在使用一个10GB的训练数据框架。为了更快地计算,我使用H2o库。每次加载数据集时,我都需要将数据框架转换为H2o对象,这需要很长时间。有没有一种方法可以存储转换后的H2o对象?(这样我就可以跳过每次构建模型时的as.H2o(trainingset)步骤)
使用 as.h2o(trainingset)
进行第一次转换后,您可以将文件导出/保存到磁盘上,并在以后再次导入它。
my_h2o_training_file <- as.h2o(trainingset)
path <- "whatever/my/path/is"
h2o.exportFile(my_h2o_training_file , path = path)
当您想要加载它时,请使用h2o.importFile
或h2o.importFolder
。请参阅函数帮助以获取正确的用法。
或者,在使用as.h2o
转换文件之前,将文件保存为csv / txt格式,并使用上述函数之一直接加载到h2o中。
h2o.export_file(df, 'C:\\PATH\\TO\\FILE')
。 - LoMaPhas.h2o(d)
的工作方式如下(即使客户端和服务器在同一台机器上也是如此):
d
导出为一个临时位置的csv文件h2o.uploadFile()
,它会执行HTTP POST到服务器,然后进行单线程导入。h2o.importFile()
(参见http://docs.h2o.ai/h2o/latest-stable/h2o-r/docs/reference/h2o.importFile.html)。这样可以省去麻烦的本地文件处理,并且还可以进行并行读取和导入。
my_object<-as.h2o(my_training)
? - NelsonGon