如何在MYSQL中计算两个字符串的相似度

Question

如何在MYSQL中计算两个字符串的相似度

41

如果我在MySQL中有两个字符串：

@a="欢迎来到Stack Overflow"
@b="你好，Stack Overflow";

是否有一种方法可以使用MySQL获取这两个字符串之间的相似度百分比呢？例如，在此示例中有3个相似的单词，因此相似度应该是：
count(@a和@b之间相似的单词数量) / (count(@a)+count(@b) - count(交集))
因此结果为3/（4 + 4-3）= 0.6。
非常感谢您提供任何想法！

- Lina

2

基于Levenshtein（在单词级别上）的距离算法似乎是一个不错的选择。 - RichardTheKiwi

4个回答

9

你可以尝试使用SOUNDEX算法，这里有详细介绍 :) SOUNDEX MySQL 编辑1: 或许这个关于MySQL自然语言处理的链接会对你有所帮助 Natural Language Full-Text Searches 如何查找相似结果并按相似度排序？祝您好运！

- SubniC

2

选择 SOUNDEX('欢迎来到Stack Overflow') 的结果是 W42532321614 \n 选择 SOUNDEX('你好Stack Overflow') 的结果是 H432321614 \n 这意味着什么？ - Lina

使用相同的值，单词的发音是相同的，您可以在此处查看更多详细信息https://secure.wikimedia.org/wikipedia/en/wiki/Soundex，您也可以尝试Levenshtein距离，以获得表示必须进行的更改（插入，删除和修改）的数字值，使句子看起来像其他句子。https://secure.wikimedia.org/wikipedia/en/wiki/Levenshtein_distance - SubniC

5

请注意，SOUNDEX只适用于英文。 - SubniC

谢谢你通知我 :) 我的数据库里有很多其他语言 :( - Lina

这种算法是与语言相关的...所以你需要一个特定的算法 :) 你正在做的任务不是一件简单的事情。 - SubniC

显示剩余2条评论

7

我认为没有一个好的、单步查询的方法来做到这一点——自然语言处理主要是为了“谷歌式”搜索而设计的，这与你试图做的事情不同。

根据你实际尝试做什么——我猜你省略了很多细节——我会：

create a table into which you split each string into words, all in lower case, stripping out spaces and punctuation - in your example, you'd end up with:

string_id               word

1                       hello
1                       from
1                       stack
1                       overflow
2                       welcome
2                       from
2                       stack
2                       overflow

您可以对该表运行查询 - 例如：

select count(*)
from  stringWords
where string_id = 2
and word in 
  (select word 
  from stringWords
  where string_id = 1);

给你交集。

然后，您可以创建一个函数或类似的东西，根据您的公式计算相似度。

虽然不太干净，但执行起来应该相当迅速，它主要是关系型的，并且应该在很大程度上独立于语言。为了处理可能的拼写错误，您可以计算 soundex - 这将允许您比较 "stack" 和 "stak"，并查看它们有多相似，尽管这在其他语言中不可靠。

- Neville Kuyt

1

如果您不想编写自己的算法，这可能对您有所帮助：

http://dev.mysql.com/doc/refman/5.0/en/fulltext-natural-language.html

- DhruvPathak

我已经尝试了Match Against...但结果很糟糕...它返回相似度较低的文章，却给出更大的结果！！ - Lina

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Alaa · Accepted Answer

您可以使用此函数（改编自http://www.artfulsoftware.com/infotree/queries.php#552）：

CREATE FUNCTION `levenshtein`( s1 text, s2 text) RETURNS int(11)
    DETERMINISTIC
BEGIN 
    DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; 
    DECLARE s1_char CHAR; 
    DECLARE cv0, cv1 text; 
    SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; 
    IF s1 = s2 THEN 
      RETURN 0; 
    ELSEIF s1_len = 0 THEN 
      RETURN s2_len; 
    ELSEIF s2_len = 0 THEN 
      RETURN s1_len; 
    ELSE 
      WHILE j <= s2_len DO 
        SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
      END WHILE; 
      WHILE i <= s1_len DO 
        SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
        WHILE j <= s2_len DO 
          SET c = c + 1; 
          IF s1_char = SUBSTRING(s2, j, 1) THEN  
            SET cost = 0; ELSE SET cost = 1; 
          END IF; 
          SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
          IF c > c_temp THEN SET c = c_temp; END IF; 
            SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
            IF c > c_temp THEN  
              SET c = c_temp;  
            END IF; 
            SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
        END WHILE; 
        SET cv1 = cv0, i = i + 1; 
      END WHILE; 
    END IF; 
    RETURN c; 
  END

要将其表示为XX％，请使用此函数

CREATE FUNCTION `levenshtein_ratio`( s1 text, s2 text ) RETURNS int(11)
    DETERMINISTIC
BEGIN 
    DECLARE s1_len, s2_len, max_len INT; 
    SET s1_len = LENGTH(s1), s2_len = LENGTH(s2); 
    IF s1_len > s2_len THEN  
      SET max_len = s1_len;  
    ELSE  
      SET max_len = s2_len;  
    END IF; 
    RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100); 
  END