我有一个关于文本分类中特征提取所需词汇集定义的问题。在实验中,有两种方法:
1.使用训练数据和测试数据定义词汇量大小,以便在测试过程中不将测试数据中的任何单词视为“未知”。
2.根据仅来自训练数据的数据定义词汇量大小,并将测试数据中每个不出现在训练数据中的单词视为“未知”。
乍一看,更科学的方法是第二种方法。然而值得注意的是,尽管我们无法知道实际系统中词汇量的真实大小,但似乎没有问题将词汇量设置为比训练数据中出现的大小略大,以应对潜在的更大问题。这对于将不同的未知单词视为不同而不是总结为“未知”非常有帮助。这样做是否不切实际?
机器学习新手。非常感谢您的帮助。
1.使用训练数据和测试数据定义词汇量大小,以便在测试过程中不将测试数据中的任何单词视为“未知”。
2.根据仅来自训练数据的数据定义词汇量大小,并将测试数据中每个不出现在训练数据中的单词视为“未知”。
乍一看,更科学的方法是第二种方法。然而值得注意的是,尽管我们无法知道实际系统中词汇量的真实大小,但似乎没有问题将词汇量设置为比训练数据中出现的大小略大,以应对潜在的更大问题。这对于将不同的未知单词视为不同而不是总结为“未知”非常有帮助。这样做是否不切实际?
机器学习新手。非常感谢您的帮助。