在自然语言处理中,停用词去除是一种典型的预处理步骤。通常情况下,我们会根据认为应该被排除的停用词来进行这个步骤。
但是在我看来,我们应该将停用词的概念泛化。对于来自不同领域的语料库,停用词可能会有所不同。我想知道是否可以通过其统计特征等数学方式定义停用词。然后,是否可以自动从特定领域的语料库中提取停用词。
这方面是否有类似的思考和进展?能否有人给些建议?
但是在我看来,我们应该将停用词的概念泛化。对于来自不同领域的语料库,停用词可能会有所不同。我想知道是否可以通过其统计特征等数学方式定义停用词。然后,是否可以自动从特定领域的语料库中提取停用词。
这方面是否有类似的思考和进展?能否有人给些建议?