TensorFlow重复函数出现错误：ValueError:不支持None值。

Question

我已经实现了下面这个自定义Layer，它可以根据输入x的大小使用函数repeat来调整学习参数seed_vectors的大小。

import tensorflow as tf
from tensorflow.keras.layers import Dense
from tensorflow import repeat
from tensorflow.keras.layers import LayerNormalization


class PoolingMultiHeadAttention(tf.keras.layers.Layer):

    def __init__(self, d, k, h):
        """
        Arguments:
            d: an integer, input dimension.
            k: an integer, number of seed vectors.
            h: an integer, number of heads.
        """
        super(PoolingMultiHeadAttention, self).__init__()
        self.seed_vectors = self.add_weight(initializer='uniform',
                                            shape=(1, k, d),
                                            trainable=True)

    def call(self, z):
        """
        Arguments:
            z: a float tensor with shape [b, n, d].
        Returns:
            a float tensor with shape [b, k, d]
        """
        b = z.shape[0]
        s = self.seed_vectors
        s = repeat(s, (b), axis=0, name='rep')  # shape [b, k, d]
        return s*z


# Dimensionality test    
z = tf.random.normal(shape=(10, 2, 9))
pma = PoolingMultiHeadAttention(d=9, k=2, h=3)
pma(z)

我在单元测试中测试过输入/输出的维度，效果很好，但是不幸的是，如果我在模型中使用这个层，它会失败并显示以下错误：

    <ipython-input-4-89023d123369>:110 call  *
        s = repeat(s, (b), axis=0, name='rep')  # shape [b, k, d]
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/array_ops.py:5616 repeat  **
        return repeat_with_axis(input, repeats, axis, name)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/array_ops.py:5478 repeat_with_axis
        repeats = convert_to_int_tensor(repeats, name="repeats")
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/array_ops.py:5388 convert_to_int_tensor
        tensor = ops.convert_to_tensor(tensor, name=name, preferred_dtype=dtype)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/ops.py:1341 convert_to_tensor
        ret = conversion_func(value, dtype=dtype, name=name, as_ref=as_ref)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/constant_op.py:317 _constant_tensor_conversion_function
        return constant(v, dtype=dtype, name=name)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/constant_op.py:258 constant
        allow_broadcast=True)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/constant_op.py:296 _constant_impl
        allow_broadcast=allow_broadcast))
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/tensor_util.py:439 make_tensor_proto
        raise ValueError("None values not supported.")

    ValueError: None values not supported.

这个错误似乎与输出的缺失有关（或者输出为None）[但我知道这不是问题所在，因为我已经在急切模式下测试了该函数并且它可行] 或者由于某些原因backprop与此操作(repeat)不兼容。我不知道在运行时修改该参数大小的任何替代方法，并且几乎相同的代码使用Pytorch可以正常工作(https://github.com/TropComplique/set-transformer/blob/master/blocks.py)。谢谢

- Alberto

Answer 1

解决方法非常简单：使用b = tf.shape(z)[0]。解释如下：

问题在于您正在尝试重复b次，这是变量批次大小（batch size）。当不在 eager 模式中运行时，这由形状中的值None表示。因此，您正在尝试“重复 None 次”，这会导致崩溃。

重要的是，Tensor.shape 返回张量的静态形状，即在编译时已知的任何内容。这包括上述未知维度的 None。
相反，tf.shape(tensor) 返回动态形状，即仅在模型运行时评估。此时，批次大小当然是已知的（因为您将一些内容放入模型），因此这将成为可以放入repeat 的具体值，而不是上面得到的 None。

- xdurch0