在TensorFlow的Dataset API中，如何将一个元素映射为多个元素？
在tensorflow Dataset流水线中，我想定义一个自定义映射函数，它接受单个输入元素（数据样本）并返回多个元素（数据样本）。 下面的代码是我的尝试，以及期望的结果。 我无法完全理解文档上关于tf.data.Dataset().flat_map()是否适用于这里。import te...
如何将NumPy数组转换为TFRecords，然后生成批次？
我的问题是如何从多个（或分片的）tfrecords中获取批量输入。我已阅读示例https://github.com/tensorflow/models/blob/master/inception/inception/image_processing.py#L410。基本流程是：以训练集为例，(...
Tensorflow tf.data.Dataset API，数据集解压函数？
在TensorFlow 1.12中，有一个名为Dataset.zip的函数：文档在这里。 然而，我想知道是否有一个数据集解压函数，可以将原始的两个数据集返回。# NOTE: The following examples use `{ ... }` to represent the # con...
Tensorflow：如何找到tf.data.Dataset API对象的大小
我了解数据集API是一种迭代器，它不会将整个数据集加载到内存中，因此无法找到数据集的大小。我所说的是指存储在文本文件或tfRecord文件中的大量数据的情况。这些文件通常使用tf.data.TextLineDataset或类似工具进行读取。使用tf.data.Dataset.from_tens...
如何使用tf.data.Dataset.from_generator()向生成器函数发送参数？
我想使用from_generator()函数创建多个tf.data.Dataset。我想向生成器函数raw_data_gen发送一个参数。这样，生成器函数将根据发送的参数产生不同的数据。通过这种方式，我希望raw_data_gen能够提供训练、验证或测试数据。training_dataset ...
如何使tf.data.Dataset在一次调用中返回所有元素？
有没有一种简单的方法获取tf.data.Dataset中的全部元素？即我想将Dataset的批次大小设置为数据集的大小，而不需要明确地传递元素数量。这对于验证数据集非常有用，因为我想一次性测量整个数据集的准确性。我很惊讶没有一种方法可以获取tf.data.Dataset的大小。
警告：调用迭代器未完全读取正在缓存的数据集。为避免数据集意外截断，请注意。
这是我使用tf.data.Dataset时发生的： 调用的迭代器没有完全读取被缓存的数据集。为了避免意外截断数据集，将会放弃部分已经缓存的数据集内容。如果你的输入管道类似于dataset.cache().take(k).repeat()，那么就会出现这种情况。应该使用dataset.take...
tf.data.Dataset 迭代器返回了一个名为 Tensor("IteratorGetNext:1", shape=(None, 16), dtype=int32) 的张量，但无法获取张量的值。
我正在尝试编写一个自定义模型，在其中编写了自定义的train_step函数。 我正在从自定义数据生成器创建一个`tf.data.Dataset`，如下所示：tds = tf.data.Dataset.from_generator(tdg.__iter__,args=None,output_ty...
如何在 TensorFlow 2.0 中使用数据增强功能（data augmentation）来处理 tfds.load() 加载的数据？
我正在遵循这个指南。 它展示了如何使用tfds.load()方法从新的TensorFlow数据集中下载数据集。import tensorflow_datasets as tfds SPLIT_WEIGHTS = (8, 1, 1) splits = tfds.Split.TRAIN....
使用TensorFlow数据集API进行数据增强的正确方式是什么？
所以，我一直在尝试使用TensorFlow数据集API加载图像和分割掩模（用于语义分割项目），我希望能够生成批次的图像和掩模，每个图像都经过任何预处理函数的随机组合，例如亮度变化、对比度变化、裁剪、饱和度变化等。因此，我的批次中的第一张图像可能没有预处理，第二张可能有饱和度变化，第三张可能有亮...