我正在编写一个针对电视节目和其他媒体(游戏、电影等)的爬虫,但并不是所有来源都按照某个节目的相同格式进行排版。例如,一个来源可能用破折号表示字幕,而其他来源则使用分号。我目前正在使用Levenshtein距离将抓取的数据与从电视节目文件名中提取的数据进行比较,但我想知道该算法是否适用于短于一句话的短字符串。是否有更适合这种需求的算法?
我正在编写一个针对电视节目和其他媒体(游戏、电影等)的爬虫,但并不是所有来源都按照某个节目的相同格式进行排版。例如,一个来源可能用破折号表示字幕,而其他来源则使用分号。我目前正在使用Levenshtein距离将抓取的数据与从电视节目文件名中提取的数据进行比较,但我想知道该算法是否适用于短于一句话的短字符串。是否有更适合这种需求的算法?
在比较/测量距离之前,您应该对标题进行归一化(标准化)。
归一化应包括以下内容:
您可以在单词对之间使用Levenshtein距离(不要将其用于整个句子),但要实现一些滑动窗口,因为某些单词(例如"the")可能会从其中一个表示中缺失。