我有一百个类别(100 classes)的上百万篇文档。我想要找出每个类别中的异常文档,也就是那些不属于该类别但被错误分类到该类别下的文档,并将其过滤掉。我可以使用余弦相似度(cosine similarity)来比较每篇文档中单词的相似性,以此来检测文档之间的相似性。 但是,我无法将其应用到过滤给定类别下被错误分类的文档上。 例如:为了简化问题,我们考虑只有三个类别以及它们所包含的文档。
ClassA ClassB ClassC ...
doc1 doc2 doc3
doc4 doc5 doc6
doc7 doc8 doc9
我该如何高效、有效地确定doc4(以及其他类似的文档)被错误地分类在ClassA中,以便我的训练数据不包含异常值?