如何拆分TensorFlow数据集？
我有一个基于单个.tfrecord文件的Tensorflow数据集。如何将数据集拆分为训练集和测试集？例如，70%的数据用于训练，30%的数据用于测试？ 编辑： 我的Tensorflow版本：1.8 我已经检查过了，没有"split_v"函数，就像可能的重复项中提到的那样。此外，我正在使用...
如何使用自定义tf.Estimator在tensorboard事件文件中创建仅一个图表的副本？
我正在使用自定义的 tf.Estimator 对象来训练神经网络。问题在于训练后的事件文件大小过大。 我已经通过使用 tf.Dataset.from_generator() 将数据集的一部分保存为常量来解决了这个问题。 但是，尽管如此，大小仍然相当大，在启动 tensorboard 时，我得到...
如何从数据类型为字符串的tf.tensor中获取字符串值
我想使用tf.data.Dataset.list_files函数来提供我的数据集。 但由于文件不是图像，我需要手动加载它。 问题是tf.data.Dataset.list_files将变量作为tf.tensor传递，而我的Python代码无法处理张量。 如何从tf.tensor中获取字符串值...
tf.data.Dataset.map() 和 tf.data.Dataset.apply() 的区别
最近升级到1.4版本的Tensorflow，将tf.data包含在库核心中。 在1.4版本发布说明中描述了一个“重要新特性”，即tf.data.Dataset.apply()，它是一种“应用自定义转换函数”的方法。与已经存在的tf.data.Dataset.map()有何不同？
如何在tf.data.Dataset中输入不同大小的列表？
我有一个由整数列表组成的长列表（表示句子，每个句子的大小不同），我想使用tf.data库进行数据喂养。每个列表（列表的列表）具有不同的长度，并且我在这里可以重现错误： t = [[4,2], [3,4,5]] dataset = tf.data.Dataset.from_tensor_sli...
如何使用TF1.3中的新Dataset API映射带有附加参数的函数？
我正在使用Tensorflow v1.3中的数据集API进行操作，它非常好。可以按照这里所描述的方法将数据集映射到一个函数。 我想知道如何传递一个带有额外参数（例如arg1）的函数：def _parse_function(example_proto, arg1): features = {...
如何提高数据输入流水线的性能？
我尝试优化我的数据输入管道。这个数据集是一组450个大小约为70MB的TFRecord文件，存储在GCS上。该作业使用GCP ML Engine执行。没有GPU。 以下是管道:def build_dataset(file_pattern): return tf.data.Datase...
TensorFlow - 使用tf.data.Dataset读取大型HDF5文件
我正在建立一个TensorFlow管道，以读取大型HDF5文件作为深度学习模型的输入。每个HDF5文件都包含100个长度可变的视频，这些视频被存储为一组压缩的JPG图像（以使磁盘上的大小可管理）。使用 tf.data.Dataset 和映射到tf.py_func，使用自定义Python逻辑从H...
有没有一种方法可以堆叠两个TensorFlow数据集？
我想在Tensorflow中堆叠两个数据集对象（类似于R语言中的rbind函数）。我已经从tfRecord文件创建了一个数据集A和从numpy数组创建了一个数据集B。它们都具有相同的变量。您是否知道是否有一种方法可以堆叠这两个数据集以创建更大的数据集？或者创建一个迭代器，从这两个来源随机读取数...
何时使用TensorFlow数据集API而不是Pandas或NumPy？
我看到了许多使用LSTM处理tensorflow时间序列的指南，但是我仍然不确定当前最佳实践是关于读取和处理数据的 - 特别是当一个人应该使用tf.data.Dataset API时。 在我的情况下，我有一个名为data.csv的文件，其中包含我的features，我想执行以下两个任务： ...