我用自定义分词器在spaCy中训练了一个自定义NER模型。我希望在不包含分词器的情况下保存NER模型。我尝试了在spaCy支持论坛中找到的以下代码:
我已经用自定义分词器在spaCy中训练了一个自定义NER模型。我想保存没有分词器的NER模型。我尝试了在spaCy支持论坛中找到的以下代码:
import spacy
nlp = spacy.load("en")
nlp.tokenizer = some_custom_tokenizer
# Train the NER model...
nlp.tokenizer = None
nlp.to_disk('/tmp/my_model', disable=['tokenizer'])
当我尝试加载它时,管道是空的,而且令人惊讶的是,它有默认的spaCy分词器。
nlp = spacy.blank('en').from_disk('/tmp/model', disable=['tokenizer'])
有什么办法可以不使用tokenizer加载模型,但获取完整的pipeline吗?谢谢