在Spacy中,以下代码是否线程安全?
nlp = spacy.load('en')
nlp(text)
是的。查看此线程(没有双关语...)以获取更多信息:https://github.com/explosion/spaCy/issues/172
如果可能,不要多线程调用nlp
,而是考虑调用nlp.pipe
,它是对spaCy管道的多线程调用。
for doc in nlp.pipe(texts, n_threads=16, batch_size=10000):
analyse_text(doc)
更多信息请查看:https://explosion.ai/blog/multithreading-with-cython