我对gensim字典实现感到好奇。我有以下代码:
def build_dictionary(documents):
dictionary = corpora.Dictionary(documents)
dictionary.save('/tmp/deerwester.dict') # store the dictionary
return dictionary
我查看了文件deerwester.dict,它看起来像这样:
8002 6367 656e 7369 6d2e 636f 7270 6f72
612e 6469 6374 696f 6e61 7279 0a44 6963
7469 6f6e 6172 790a 7101 2981 7102 7d71
0328 5508 6e75 6d5f 646f 6373 7104 4b09
5508 ...
然而,以下代码
my_dict = dictionary.load('/tmp/deerwester.dict')
print my_dict.token2id #view dictionary
产生这个结果:
{'minors': 30, 'generation': 22, 'testing': 16, 'iv': 29, 'engineering': 15, 'computer': 2, 'relation': 20, 'human': 3, 'measurement': 18, 'unordered': 25, 'binary': 21, 'abc': 0, 'ordering': 31, 'graph': 26, 'system': 10, 'machine': 6, 'quasi': 32, 'random': 23, 'paths': 28, 'error': 17, 'trees': 24, 'lab': 5, 'applications': 1, 'management': 14, 'user': 12, 'interface': 4, 'intersection': 27, 'response': 8, 'perceived': 19, 'widths': 34, 'well': 33, 'eps': 13, 'survey': 9, 'time': 11, 'opinion': 7}
所以我的问题是,由于我在.dict文件中看不到实际的单词,那里存储的所有十六进制值是什么?这是一种超级压缩格式吗?我很好奇,因为如果是的话,我应该考虑从现在开始使用它。