什么是用于标记英文文本的最佳正则表达式?
通过英文标记,我指的是由最多数量的字符组成的基元,可用于NLP目的。类比于任何编程语言中的“token”(例如,在C语言中,“{”,“[”,“hello”,“&”等都可以作为token)。有一个限制:尽管英文标点符号可能是“有意义”的,但让我们为了简单起见在它们没有出现在\w+的中间时忽略它们。因此,“Hello, world.”将产生'hello'和'world'; 同样,“You are good-looking.”可能会产生[you,are,good-looking]或[you,are,good,looking]。
通过英文标记,我指的是由最多数量的字符组成的基元,可用于NLP目的。类比于任何编程语言中的“token”(例如,在C语言中,“{”,“[”,“hello”,“&”等都可以作为token)。有一个限制:尽管英文标点符号可能是“有意义”的,但让我们为了简单起见在它们没有出现在\w+的中间时忽略它们。因此,“Hello, world.”将产生'hello'和'world'; 同样,“You are good-looking.”可能会产生[you,are,good-looking]或[you,are,good,looking]。