在训练Keras模型之前,在GPU上预加载整个数据集

24

我有一个特定的案例,其中网络相对较小,为了收敛和泛化性能,我应该保持小批量大小(例如256),这会导致每个时期需要处理数百个批次。

不幸的是,在这种情况下,批处理、加载和损失计算成为瓶颈(如timeline 工具告诉我的)。

在 TensorFlow 中,您可以编写以下代码将数据加载到 GPU 上:

with tf.device('/gpu:0'):
    train_data = tf.constant(train_data_numpy)

但是,如果我将train_data传递给Keras的Model.predictModel.fit函数,将会得到以下错误:

转译结果为:

但是,如果我将train_data传递给Keras的Model.predictModel.fit函数,就会出现以下错误:

keras/engine/training.pyc in predict(self, x, batch_size, verbose)
   1515         f = self.predict_function
   1516         return self._predict_loop(f, ins,
-> 1517                                   batch_size=batch_size, verbose=verbose)
   1518 
   1519     def train_on_batch(self, x, y,

keras/engine/training.pyc in _predict_loop(self, f, ins, batch_size, verbose)
   1129         if verbose == 1:
   1130             progbar = Progbar(target=samples)
-> 1131         batches = _make_batches(samples, batch_size)
   1132         index_array = np.arange(samples)
   1133         for batch_index, (batch_start, batch_end) in enumerate(batches):

keras/engine/training.pyc in _make_batches(size, batch_size)
    368         A list of tuples of array indices.
    369     """
--> 370     num_batches = int(np.ceil(size / float(batch_size)))
    371     return [(i * batch_size, min(size, (i + 1) * batch_size))
    372             for i in range(0, num_batches)]

AttributeError: 'Dimension' object has no attribute 'ceil'

这是有道理的,因为Keras只接受类似于NumPy的数组和列表。

话虽如此,我也尝试了pyCUDA和cupy数组,因为它们声称与NumPy类似...但是那些会产生以下错误:

keras/engine/training.pyc in predict(self, x, batch_size, verbose)
   1515         f = self.predict_function
   1516         return self._predict_loop(f, ins,
-> 1517                                   batch_size=batch_size, verbose=verbose)
   1518 
   1519     def train_on_batch(self, x, y,

keras/engine/training.pyc in _predict_loop(self, f, ins, batch_size, verbose)
   1139                 ins_batch = _slice_arrays(ins, batch_ids)
   1140 
-> 1141             batch_outs = f(ins_batch)
   1142             if not isinstance(batch_outs, list):
   1143                 batch_outs = [batch_outs]

keras/backend/tensorflow_backend.pyc in __call__(self, inputs)
   2266         updated = session.run(self.outputs + [self.updates_op],
   2267                               feed_dict=feed_dict,
-> 2268                               **self.session_kwargs)
   2269         return updated[:len(self.outputs)]
   2270 

tensorflow/python/client/session.pyc in run(self, fetches, feed_dict, options, run_metadata)
    893     try:
    894       result = self._run(None, fetches, feed_dict, options_ptr,
--> 895                          run_metadata_ptr)
    896       if run_metadata:
    897         proto_data = tf_session.TF_GetBuffer(run_metadata_ptr)

tensorflow/python/client/session.pyc in _run(self, handle, fetches, feed_dict, options, run_metadata)
   1091             feed_handles[subfeed_t] = subfeed_val
   1092           else:
-> 1093             np_val = np.asarray(subfeed_val, dtype=subfeed_dtype)
   1094 
   1095           if (not is_tensor_handle_feed and

numpy/core/numeric.pyc in asarray(a, dtype, order)
    529 
    530     """
--> 531     return array(a, dtype, copy=False, order=order)
    532 
    533 

ValueError: object __array__ method not producing an array

我试着通过谷歌搜索来解决这个问题,但是唯一一个合理的匹配结果是一篇中文博客文章,其基本上建议修补Keras,这显然不切实际。

我想知道在Keras中预加载整个数据集到GPU的正确方法是什么。

有用信息:我正在使用Keras 2.0.6和TF 1.3,由于关键API更改,升级到2.0.8/1.4堆栈目前还无法使用,但如果可以解决这个问题,肯定会加快速度。

1个回答

1

您不必加载整个数据。 您可以使用 DataSet类逐块摄取数据。

当您的gpu在处理数字时,Tensorflow可以负责加载更多数据。 您可以按照以下步骤操作:

  1. 将数据集转换为TFRecord数据集并将其保存到磁盘中。
  2. 使用TFRecordDataset类加载此数据集
  3. 将其摄入您的Keras模型中。

您可以在 这里检查所列示的示例。

希望这对您有所帮助。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接