spaCy 2.0：保存和加载自定义NER模型

Question

我用自定义分词器在spaCy中训练了一个自定义NER模型。我希望在不包含分词器的情况下保存NER模型。我尝试了在spaCy支持论坛中找到的以下代码：

我已经用自定义分词器在spaCy中训练了一个自定义NER模型。我想保存没有分词器的NER模型。我尝试了在spaCy支持论坛中找到的以下代码：

import spacy

nlp = spacy.load("en")
nlp.tokenizer = some_custom_tokenizer
# Train the NER model...
nlp.tokenizer = None
nlp.to_disk('/tmp/my_model', disable=['tokenizer'])

当我尝试加载它时，管道是空的，而且令人惊讶的是，它有默认的spaCy分词器。

nlp = spacy.blank('en').from_disk('/tmp/model', disable=['tokenizer'])

有什么办法可以不使用tokenizer加载模型，但获取完整的pipeline吗？谢谢

- Gino

Answer 1

如果你已经把模型保存在磁盘上，你可以使用 nlp = spacy.load('/tmp/model') 来加载模型。根据Spacy文档所述，当前的做法只会加载二进制数据 (https://spacy.io/usage/training#section-saving-loading)。

- Valentin Calomme