如何在Android中自定义全文检索（FTS）分词器

Question

因为sqlite FTS的默认标记化是“simple”，我可以将其更改为“porter”。但是我必须支持非美国语言，比如中文，它不能仅通过空格或点进行分割。因此，我想自定义标记器。有人能给我一些建议吗？

1. How to regist Tokenizer in Sqlite.

   SELECT fts3_tokenizer(<tokenizer-name>, <sqlite3_tokenizer_module ptr>);
   

   cause sqlite is system lib in Android , i don't know if i can regist.

2. Is there a common tokenizer for all language? for my app must i18n. just support Chinese is not useful.

- Stay

Answer 1

当然，您需要一个自定义的SQLite安装。 SQLite Android绑定提供了一种简单的方法来实现这一点。这允许应用程序使用自定义构建或版本的SQLite，而不管它部署到哪个Android版本，同时继续使用标准的Android接口。 https://sqlite.org/android/doc/trunk/www/index.wiki

- Kirill Vashilo