我正在使用TensorFlow的数据集 API。 使用简单的案例测试我的代码。下面展示了我使用的简单代码。问题是,当数据集大小较小时,似乎从数据集API返回的大小不一致。我确定有正确的方法来处理它。但即使我阅读了该页面和教程中的所有函数,我也找不到解决方法。
import numpy as np
import tensorflow as tf
data_source = tf.zeros([24, 200, 64, 64, 1]) #[number_of_video, steps, pixel_w, pixel_h, channel]
dataset = tf.contrib.data.Dataset.from_tensor_slices(data_source)
dataset = dataset.shuffle(buffer_size=100)
dataset = dataset.batch(16)
dataset = dataset.repeat()
iterator = tf.contrib.data.Iterator.from_structure(dataset.output_types, dataset.output_shapes)
next_element = iterator.get_next()
training_init_op = iterator.make_initializer(dataset)
with tf.Session() as sess:
sess.run(training_init_op)
next_elem = next_element.eval()
print(np.shape(next_elem))
next_elem = next_element.eval()
print(np.shape(next_elem))
next_elem = next_element.eval()
print(np.shape(next_elem))
next_elem = next_element.eval()
print(np.shape(next_elem))
next_elem = next_element.eval()
print(np.shape(next_elem))
next_elem = next_element.eval()
print(np.shape(next_elem))
next_elem = next_element.eval()
print(np.shape(next_elem))
这个数据集是灰度视频。总共有24个视频序列,步长都是200。每帧大小为64x64像素,只有一个通道。我将批处理大小设置为16,缓冲区大小为100。但是代码的结果是:
(16, 200, 64, 64, 1)
(8, 200, 64, 64, 1)
(16, 200, 64, 64, 1)
(8, 200, 64, 64, 1)
(16, 200, 64, 64, 1)
(8, 200, 64, 64, 1)
(16, 200, 64, 64, 1)
返回结果如下:
视频的返回大小为16或8。我猜是因为原始数据大小只有24,当到达数据结尾时,API只返回剩余的部分。
但我不明白。我也将缓冲区大小设置为100。那意味着缓冲区应该提前填充小数据集。从缓冲区中,API应选择批量大小为16的next_element。
当我在tensorflow中使用队列类型的API时,我没有这个问题。无论原始数据的大小是多少,迭代器到达数据集末尾总会有一个时刻。我想知道其他人如何使用此API解决这个问题。