keras分词器提供了像词干和词形还原这样的功能吗?如果确实有,那么是如何实现的?需要直观的理解。此外,text_to_sequence
在其中的作用是什么?
keras分词器提供了像词干和词形还原这样的功能吗?如果确实有,那么是如何实现的?需要直观的理解。此外,text_to_sequence
在其中的作用是什么?
The quick brown fox jumps over the lazy dog
变成:
<sentence>
<word>The</word>
<word>quick</word>
...
<word>dog</word>
</sentence>
text_to_sequence
中可以提取出其含义:[...]sequence of integers (each integer being the index of a token in a dictionary)[...]。这意味着你之前的字符串之后可以成为一个数字整数序列(如数组),而不是实际的单词。text_to_word_sequence()
(文档)也提供了这种标记化,但不会将数据向量化为数值向量,并返回您的标记化字符串数组。
将文本转换为单词(或标记)序列。