我正在使用SpaCy 3.0.1与transformer模型(en_core_web_trf)一起使用。之前我使用SpaCy transformers时,可以从Token或Span中获取transformer向量。然而,在SpaCy 3中,似乎只能通过Doc(doc._.trf_data)访问transformer向量,而没有适当地对齐到SpaCy token。
如何在Spacy Tokens和Vectors/Wordpieces之间进行对准?或者有没有某个函数可以直接获取Token或Span的向量?
如何在Spacy Tokens和Vectors/Wordpieces之间进行对准?或者有没有某个函数可以直接获取Token或Span的向量?