微调通用句子编码器

Question

我是新手在使用TensorFlow。我正在使用通用句子编码器来进行文本相似度计算。我想要使用自己的语料库对USE进行微调。

我目前拥有：

module_url = "https://tfhub.dev/google/universal-sentence-encoder/2" 
embed = hub.Module(module_url, trainable=True)

根据这里的说法，将trainable=True设置为“可训练”会“暴露变量”。然而，我不知道这些可训练的变量是什么以及如何使用它们来微调我的语料库中的USE模型。请给予任何指导或方向，将不胜感激。

- user10830454

Answer 1

细调预训练模型是允许其权重在下游训练任务中更新。因此，您有两个选项：

1. `trainable=False` - 这个选项将更快地进行训练，但预训练模型的权重将永远不会被更新。句子嵌入在您自己的训练前后看起来完全相同。只有您自己的模型层通过训练才会改变它们的权重。

2. `trainable=True` - 这会给您的训练循环增加计算负担，但将允许嵌入器的权重根据您的任务和训练数据进行更新。这可能会导致更准确的最终模型。

- Stewart_R

---

是的，#2 确实是我正在寻找的。您能否友好地分享如何实现这一点？ - user10830454

澄清一下，我想看看如何通过编程实现这个。 - user10830454