使用可变批次大小的 TensorFlow DataSet `from_generator`
我正在尝试使用TensorFlow数据集API读取HDF5文件，使用from_generator方法。除非批处理大小可以完全分为事件数，否则一切都正常运行。我不太清楚如何使用API制作灵活的批处理。 如果无法均匀分割，则会出现错误，例如：2018-08-31 13:47:34.274303:...
如何使用Tensorflow的数据集API将数据移动到多个GPU服务器？
我们正在使用Tensorflow在多个GPU上运行任务，并评估从基于队列的模型（使用string_input_producer接口）迁移到新的Tensorflow数据集API。后者似乎提供了一种更容易在训练和验证之间切换的方式。 以下是我们如何实现的代码片段。 train_datase...
如何使用TensorFlow的Dataset API多次迭代数据集？
如何多次输出使用TensorFlow的Dataset API创建的数据集中的值？import tensorflow as tf dataset = tf.contrib.data.Dataset.range(100) iterator = dataset.make_one_shot_iter...
将.tfrecords文件拆分为多个.tfrecords文件
是否有一种直接将.tfrecords文件拆分成多个.tfrecords文件的方法，而无需将每个数据集示例写回？
如何将Tensorflow数据集保存到文件？
在SO上至少还有两个类似的问题，但没有一个得到答案。我有一个数据集，其格式如下：<TensorSliceDataset shapes: ((512,), (512,), (512,), ()), types: (tf.int32, tf.int32, tf.int32, tf.int32...
TensorFlow数据集API中的IDE断点映射py_function？
我正在使用Tensorflow数据集API准备我的数据输入到神经网络中。在此过程中，我有一些自定义的Python函数，这些函数通过tf.py_function映射到数据集上。我想能够调试进入这些函数的数据以及这些函数内部发生的情况。当调用py_function时，这将回调到主Python进程（...
如何从TensorFlow数据集中选择特定列？
我正在使用tf.data.Dataset预处理来自CSV文件的数据训练我的Tensorflow模型。但我希望该模型分叉为三个分支，对应不同的csv列集，并且model.fit要求每个输出都有一个单独的数据集。CSV文件的所有列都需要经过相同的预处理，因此最有效的准备方法是加载整个文件、进行处理...
tf.data.Dataset.padded_batch 为不同特征使用不同填充方式
我有一个 tf.data.Dataset 实例，它包含3个不同的特征： label，它是一个标量 sequence_feature，它是一系列标量 seq_of_seqs_feature，它是一个序列的序列特征 我正在尝试使用 tf.data.Dataset.padded_batch(...
如何在第一个epoch期间正确地缓存数据（Tensorflow，数据集）？
我正在尝试使用 cache 转换来处理数据集。以下是我的当前代码（简化版）：dataset = tf.data.TFRecordDataset(filenames, num_parallel_reads=1) dataset = dataset.apply(tf.contrib.data.sh...
如何在TensorFlow中使用"group_by_window"函数
在TensorFlow的新输入管道函数中，有一个使用"group_by_window"函数将记录集合分组的能力。它在文档中描述如下： https://www.tensorflow.org/api_docs/python/tf/contrib/data/Dataset#group_by_win...