我正在寻找有关文本文档(带任何标记)中Unicode字符使用情况的统计数据。谷歌搜索没有结果。
背景:我目前正在开发基于有限状态机的文本处理工具。字符的统计数据可能有助于寻找正确的转换。例如,拉丁字符可能是最常用的,因此首先检查这些字符可能是有意义的。
是否有人偶然收集或看到过这样的统计数据?
(我不关注特定的语言或区域设置。请考虑像XML解析器这样的通用解析器。)
我正在寻找有关文本文档(带任何标记)中Unicode字符使用情况的统计数据。谷歌搜索没有结果。
背景:我目前正在开发基于有限状态机的文本处理工具。字符的统计数据可能有助于寻找正确的转换。例如,拉丁字符可能是最常用的,因此首先检查这些字符可能是有意义的。
是否有人偶然收集或看到过这样的统计数据?
(我不关注特定的语言或区域设置。请考虑像XML解析器这样的通用解析器。)
0x000020 14627262
0x000065 7492745 e
0x000061 5144406 a
0x000069 4791953 i
0x00006f 4717551 o
0x000074 4566615 t
0x00006e 4296796 n
0x000072 4293069 r
0x000073 4025542 s
0x00000a 3140215
0x00006c 2841723 l
0x000064 2132449 d
0x000063 2026755 c
0x000075 1927266 u
0x000068 1793540 h
0x00006d 1628606 m
0x00fffd 1579150
0x000067 1279990 g
0x000070 1277983 p
0x000066 997775 f
0x000079 949434 y
0x000062 851830 b
0x00002e 844102 .
0x000030 822410 0
0x0000a0 797309
0x000053 718313 S
0x000076 691534 v
0x000077 682472 w
0x000031 648470 1
0x000041 624279 @
0x00006b 555419 k
0x000032 548220 2
0x00002c 513342 ,
0x00002d 510054 -
0x000043 498244 C
0x000054 495323 T
0x000045 455061 E
0x00004d 426545 M
0x000050 423790 P
0x000049 405276 I
0x000052 393218 R
0x000044 381975 D
0x00004c 365834 L
0x000042 353770 B
0x000033 334689 E
0x00004e 325299 N
0x000029 302497 /
0x000028 301057 (
0x000035 298087 5
0x000046 295148 F
e
t
a
o
n
r
i
s
h
。但是对于 Unicode,没有带有有趣重音或特殊符号的字符。唯一比纯 ASCII 更 Unicode 的是不间断空格和 0xfffd。 - hippietrail到目前为止,建议的选项中,维基百科(和/或维基词典)可能是最容易的选择,因为它足够小,可以本地下载,比随机网页转储更好地标准化(全部使用UTF-8编码,全部正确标记,大多数已按语言正确标记并校对了标记错误、拼写和偶尔的事实),但又足够大(可能已经超出了一个数量级以上的过剩)以提供可信的统计数据。但是,如果域名与您实际想要建模的域名不同,它们可能仍然会出错。