使用tf.data API替换tf.placeholder和feed_dict
我有一个现成的 TensorFlow 模型，它使用 tf.placeholder 作为模型的输入，并使用 tf.Session().run 的 feed_dict 参数传入数据。以前整个数据集都被读入内存并通过这种方式传递。 我想使用一个更大的数据集，并利用 tf.data API 的性能优...
如何获取tf.data.dataset的形状？
我知道数据集有输出形状（output_shapes），但它显示的格式如下所示： data_set: DatasetV1Adapter shapes: {item_id_hist: (?, ?), tags: (?, ?), client_platform: (?,), entrance...
并行计算并没有减少数据集映射的时间
TF Map 函数支持并行调用。 我尝试将 num_parallel_calls 传递给 map，但是在使用 num_parallel_calls=1 和 num_parallel_calls=10 时，运行时间性能没有改善。这是一个简单的代码示例。import time def test_t...
我该如何通过特定值筛选tf.data.Dataset？
我通过读取TFRecords创建了一个数据集，我映射了值并想要筛选特定的值，但由于结果是包含张量的字典，我不能够获取张量的实际值或使用tf.cond() / tf.equal进行检查。我该如何操作？ def mapping_func(serialized_example): feat...
TensorFlow数据集是应该先进行洗牌再划分批次，还是应该先划分批次再进行洗牌的？
我最近开始学习tensorflow。 我不确定是否有任何区别。x = np.array([[1],[2],[3],[4],[5]]) dataset = tf.data.Dataset.from_tensor_slices(x) ds.shuffle(buffer_size=4) ds.ba...
TensorFlow 数据 API - 预取
我正在尝试使用TF的新功能，即Data API，我不确定prefetch是如何工作的。在以下代码中：def dataset_input_fn(...) dataset = tf.data.TFRecordDataset(filenames, compression_type="ZLIB...
无法在Jupyter笔记本中导入tensorflow_datasets模块
我正在学习Udacity的TensorFlow课程，该课程使用Google Colab编写/运行代码。但我想在本地计算机上运行代码，因此创建了一个新环境来运行代码，但无法将tensorflow_dataset导入到tensorflow环境中。 我尝试从Anaconda Navigator搜...
如何使用DataSet API在Tensorflow中为tf.train.SequenceExample数据创建填充批次？
为了在Tensorflow中训练一个LSTM模型，我已经将我的数据格式化成tf.train.SequenceExample格式并存储到TFRecord文件中。现在我想使用新的DataSet API来生成用于训练的填充批次。在文档中有一个使用padded_batch的示例，但是对于我的数据，我不...
如何改善此数据管道以提高我的TensorFlow模型的性能
我正在Google Colab上训练一个TensorFlow模型。实际模型更复杂，但我将其压缩为可重现的示例（去掉了保存/恢复、学习率衰减、断言、TensorBoard事件、梯度削减等）。该模型运行良好（收敛到可接受的损失），我正在寻找一种加速训练的方法（每秒迭代次数）。 目前在Colab的...
TensorFlow数据集的prefetch和cache选项应该如何正确使用？
我已经阅读了有关使用prefetch()和cache()来加速模型输入流水线的TF页面和一些帖子，并尝试在我的数据上实施它。cache()按预期为我工作，即在第一个epoch中从dist中读取数据，在所有后续的epoch中只是从内存中读取数据。但是，我在使用prefetch()时遇到了很多困难...