我正在尝试使用 Dataset API 来准备一个文本序列的
我使用
这会将每个序列填充到批处理中的最大序列长度。然而,我想选择任意序列长度,并在真实序列长度小于该长度时进行填充,否则截断该序列。
当我尝试将
TFRecordDataset
。处理后,我有一个字典,其中包含每个记录的张量。每个记录包含两个序列。我使用
padded_batch
进行填充。dataset = dataset.padded_batch(batch_size, padded_shapes= {
'seq1': tf.TensorShape([None]),
'seq2': tf.TensorShape([None])
})
这会将每个序列填充到批处理中的最大序列长度。然而,我想选择任意序列长度,并在真实序列长度小于该长度时进行填充,否则截断该序列。
当我尝试将
None
替换为100
时,例如,我遇到了一个DataLossError
。
有没有一种方法可以在序列上实现类似DataLossError:尝试填充到比输入元素更小的大小。
tf.image.resize_image_with_crop_or_pad
的功能呢?