13得票1回答
句子块库未被安装在系统中。

在使用 pip install tf-models-official 安装库时我遇到了以下问题: Collecting tf-models-official Using cached tf_models_official-2.8.0-py2.py3-none-any.whl (2.2 M...

10得票2回答
如何向分词器中添加新的特殊标记?

我想建立一个多类分类模型,其中输入为Bert模型的对话数据(使用bert-base-uncased)。 除此之外,我还有两个输入。我在想是否应该在对话中加入特殊标记,以便使其对BERT模型更有意义,比如: [CLS]QUERY: 我想问一个问题。 [EOT] ANSWER: 当然,请问。 ...

7得票1回答
为什么Hugging Face的T5分词器会忽略一些空格?

我正在使用T5模型和分词器进行下游任务。我想向分词器添加特定的空格,如行尾符(\t)和制表符(\t)。添加这些令牌是有效的,但是分词器总是忽略第二个空格。因此,它将序列“\n\n”标记为单个行尾符,将序列"\n\n\n\n"标记为两个行尾符,依此类推。请参见下面的示例以重现该问题。 from...