升级到tf.dataset后解析CSV文件出现问题
我有一个GCMLE实验，正在尝试升级我的input_fn以使用新的tf.data功能。我已经基于此创建了以下input_fn示例 def input_fn(...): dataset = tf.data.Dataset.list_files(filenames).shuffle(nu...
如何在tensorflow_datasets数据集上进行训练
我正在尝试使用tensorflow来更加熟悉整个工作流程。为此，我决定从创建一个简单的鸢尾花数据集分类器开始。 我使用以下代码加载数据集： ds = tfds.load('iris', split='train', shuffle_files=True, as_supervised=Tru...
将Keras模型的model.fit()中的`steps_per_epoch`与TensorFlow的Dataset API中的`batch()`结合使用
我正在使用Keras+TensorFlow训练卷积神经网络模型，并观察性能和GPU使用情况。类似于这个问题，我很难理解Keras的model.fit的steps_per_epoch和TensorFlow的Dataset API的.batch()的联合使用方式：我在输入管道上设置了一个特定的批量...
TensorFlow 数据 API - 预取
我正在尝试使用TF的新功能，即Data API，我不确定prefetch是如何工作的。在以下代码中：def dataset_input_fn(...) dataset = tf.data.TFRecordDataset(filenames, compression_type="ZLIB...
TF数据API：如何高效地从图像中抽样小补丁
考虑从高分辨率图像目录中创建随机小图像块数据集的问题。TensorFlow数据集API提供了一种非常简单的方法来实现这一点，通过构建一个图像名称的数据集、对其进行随机排序、映射到加载的图像，然后将其变为随机裁剪的图像块。 然而，这个朴素的实现非常低效，因为为了生成每个图像块，都需要加载并裁剪...
如何在tensorflow 2.0中添加额外输入并自定义损失函数
我在使用tf.keras和一个数据集时，尝试编写一个带有额外参数的自定义损失函数，但遇到了很多困难。 在下面的情况中，额外参数是模型输入的数据，该数据包含在一个Dataset中。在1.14版本中，我会在数据集上运行.make_one_shot_iterator().get_next()，然后...
如何在第一个epoch期间正确地缓存数据（Tensorflow，数据集）？
我正在尝试使用 cache 转换来处理数据集。以下是我的当前代码（简化版）：dataset = tf.data.TFRecordDataset(filenames, num_parallel_reads=1) dataset = dataset.apply(tf.contrib.data.sh...
如何将由Tensorflow数据集API创建的数据集分为训练集和测试集？
有人知道如何将Tensorflow中使用数据集API(tf.data.Dataset)创建的数据集拆分为测试集和训练集吗？
Tensorflow 2抛出ValueError错误：在未知的TensorShape上未定义as_list()。
我正在尝试在Tensorflow 2.0中训练一个Unet模型，该模型以图像和分割掩码作为输入，但是我遇到了一个ValueError：as_list()未在未知的TensorShape上定义的问题。堆栈跟踪显示问题发生在_get_input_from_iterator(inputs)期间：/u...
如何将NumPy数组转换为TFRecords，然后生成批次？
我的问题是如何从多个（或分片的）tfrecords中获取批量输入。我已阅读示例https://github.com/tensorflow/models/blob/master/inception/inception/image_processing.py#L410。基本流程是：以训练集为例，(...