我正在寻找一种n-grams计数向量化的实现,比scikit-learn的CountVectorizer
更高效。 我已经确定CountVectorizer.transform()
调用是软件中的巨大瓶颈,如果我们能够使管道的这一部分更加高效,就能显著提高模型吞吐量。适配时间并不重要,我们只关心转换时间。最终输出必须是一个scipy.sparse
向量。如果有人有潜在的替代方案,将不胜感激。
我正在寻找一种n-grams计数向量化的实现,比scikit-learn的CountVectorizer
更高效。 我已经确定CountVectorizer.transform()
调用是软件中的巨大瓶颈,如果我们能够使管道的这一部分更加高效,就能显著提高模型吞吐量。适配时间并不重要,我们只关心转换时间。最终输出必须是一个scipy.sparse
向量。如果有人有潜在的替代方案,将不胜感激。
HashingVectorizer
吗?它略微快一些(如果我记得正确的话,最多达到2倍)。下一步是对代码进行分析,在CountVectorizer
或HashingVectorizer
中去除你不使用的功能,并将剩余部分重写为经过优化的Cython代码(再次进行分析后)。transform
调用中没有明显的瓶颈,因此我猜测Cython优化将是唯一真正加速的机会。 - Madison May