如何按相似度查询记录？
例如，搜索“Stock Overflow”将返回：
例如，搜索“LO”将返回：
LIKE 返回更好的结果，但对于较长的查询没有返回值，即使存在类似的字符串
CREATE TABLE IF NOT EXISTS `tests`.`data_table` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`title` varchar(2000) CHARACTER SET latin1 NOT NULL,
`description` text CHARACTER SET latin1 NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin AUTO_INCREMENT=1 ;
latin1_bin，以执行区分大小写的搜索而不是区分大小写的latin1。对于Unicode字符串，我建议使用utf8_bin进行区分大小写搜索和utf8_general_ci进行不区分大小写搜索。DROP TABLE IF EXISTS `tests`.`data_table_temp`;
CREATE TEMPORARY TABLE `tests`.`data_table_temp`
SELECT * FROM `tests`.`data_table`;
ALTER TABLE `tests`.`data_table_temp` ENGINE = MYISAM;
ALTER TABLE `tests`.`data_table_temp` ADD FULLTEXT `FTK_title_description` (
`title` ,
`description`
);
SELECT *,
MATCH (`title`,`description`)
AGAINST ('+so* +nullam lorem' IN BOOLEAN MODE) as `score`
FROM `tests`.`data_table_temp`
WHERE MATCH (`title`,`description`)
AGAINST ('+so* +nullam lorem' IN BOOLEAN MODE)
ORDER BY `score` DESC;
DROP TABLE `tests`.`data_table_temp`;
请从MySQL API参考页面了解更多相关信息。
这样做的缺点是它不会查找字母转换或"类似，发音相似"的单词。
** 更新 **
使用Lucene进行搜索，您只需要创建一个cron作业（所有Web主机都具有此"功能"），其中此作业将仅执行一个PHP脚本（例如"cd /path/to/script; php searchindexer.php"），该脚本将更新索引。原因在于索引数千个"文档"（行、数据等）可能需要几秒甚至几分钟，但这是为了确保所有搜索尽可能快地执行。因此，您可能希望创建一个延迟作业由服务器运行。可以是在晚上或下一个小时，这取决于您。PHP脚本应该长这样:
$indexer = Zend_Search_Lucene::create('/path/to/lucene/data');
Zend_Search_Lucene_Analysis_Analyzer::setDefault(
// change this option for your need
new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive()
);
$rowSet = getDataRowSet(); // perform your SQL query to fetch whatever you need to index
foreach ($rowSet as $row) {
$doc = new Zend_Search_Lucene_Document();
$doc->addField(Zend_Search_Lucene_Field::text('field1', $row->field1, 'utf-8'))
->addField(Zend_Search_Lucene_Field::text('field2', $row->field2, 'utf-8'))
->addField(Zend_Search_Lucene_Field::unIndexed('someValue', $someVariable))
->addField(Zend_Search_Lucene_Field::unIndexed('someObj', serialize($obj), 'utf-8'))
;
$indexer->addDocument($doc);
}
// ... you can get as many $rowSet as you want and create as many documents
// as you wish... each document doesn't necessarily need the same fields...
// Lucene is pretty flexible on this
$indexer->optimize(); // do this every time you add more data to you indexer...
$indexer->commit(); // finalize the process
那么，这基本上就是如何进行搜索（基本搜索）的方法：
$index = Zend_Search_Lucene::open('/path/to/lucene/data');
// same search options
Zend_Search_Lucene_Analysis_Analyzer::setDefault(
new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive()
);
Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding('utf-8');
$query = 'php +field1:foo'; // search for the word 'php' in any field,
// +search for 'foo' in field 'field1'
$hits = $index->find($query);
$numHits = count($hits);
foreach ($hits as $hit) {
$score = $hit->score; // the hit weight
$field1 = $hit->field1;
// etc.
}
以下是关于Lucene的优秀站点，包括Java、PHP和.Net。
总之，每种搜索方法都有其优缺点：
如果我遗漏/错过了什么，请随时评论。
1. 相似度计算
我在stackoverflow找到了MySQL中的Levenshtein函数，它来源于 www.codejanitor.com/wp/2007/02/10/levenshtein-distance-as-a-mysql-stored-function
SELECT
column,
LEVENSHTEIN(column, 'search_string') AS distance
FROM table
WHERE
LEVENSHTEIN(column, 'search_string') < distance_limit
ORDER BY distance DESC
2. 包含且不区分大小写
使用MySQL的LIKE语句，它默认是不区分大小写的。 %是通配符，因此在search_string之前和之后都可以有任何字符串。
SELECT
*
FROM
table
WHERE
column_name LIKE "%search_string%"
3. 包含，区分大小写
MySQL 手册 给出了帮助:
默认的字符集和排序规则是 latin1 和 latin1_swedish_ci，所以默认情况下非二进制字符串比较是不区分大小写的。这意味着如果你使用 col_name LIKE 'a%' 进行搜索，你会得到所有以 A 或 a 开头的列值。要使此搜索区分大小写，请确保操作数中有一个具有大小写敏感或二进制排序规则。例如，如果您正在比较具有latin1 字符集的列和字符串，则可以使用 COLLATE 操作符使任一操作数具有latin1_general_cs 或 latin1_bin 排序规则...
我的 MySQL 设置不支持 latin1_general_cs 或 latin1_bin，但使用排序规则 utf8_bin 作为二进制 utf8 是区分大小写的，对我来说这个方法很有效:
SELECT
*
FROM
table
WHERE
column_name LIKE "%search_string%" COLLATE utf8_bin
2. / 3. 根据Levenshtein距离排序
SELECT
column,
LEVENSHTEIN(column, 'search_string') AS distance // for sorting
FROM table
WHERE
column_name LIKE "%search_string%"
COLLATE utf8_bin // for case sensitivity, just leave out for CI
ORDER BY
distance
DESC
很快你将有大量相似度量，当所有的度量都很好并且比其他度量具有一些优势时。
为了结合这些度量，我喜欢将问题简化为分类问题。
您应该构建一个由单词对组成的数据集，并将它们标记为“相关”。
然后将你拥有的所有度量用作配对的特征。
现在你处于监督分类问题的领域。在数据集上构建一个分类器，根据你的需求进行评估，获得适合你需求的相似度测量。