有人知道哪里可以找到日常英语文本的档案或收藏品,用于小型语料库吗?我一直在使用古登堡计划书籍作为工作原型,并希望融入更多现代语言。这里的一个最新答案间接地指向了一个很棒的usenet电影评论档案,这个想法没有出现在我的脑海中,非常好。对于这个特定的程序,技术usenet档案或编程邮件列表会倾斜结果并且很难分析,但是任何一种通用博客文本、聊天记录或其他可能对他人有用的东西都将非常有帮助。此外,一个部分或可下载的研究语料库,标记不要太多,或者一些启发式方法来找到适当的维基百科文章子集,或任何其他想法,都非常感激。(顺便说一句,我正在遵守下载方面的规定,使用故意缓慢的脚本,不会对托管此类材料的服务器造成负担,以防您认为有道德风险指向某些庞大的东西给我。)
更新:用户S0rin指出,维基百科要求不进行爬取,并提供此导出工具。 古腾堡计划在此处指定了一个政策,底线是尽量不进行爬取,但如果需要:“将您的机器人配置为在请求之间等待至少2秒钟。”
更新2 维基百科转储是最好的方法,感谢回答者指出了它们。 我最终使用了来自此处的英文版本:http://download.wikimedia.org/enwiki/20090306/,以及大小约为一半的西班牙语转储。 它们需要清理一些工作,但非常值得,而且包含许多有用的链接数据。
更新2 维基百科转储是最好的方法,感谢回答者指出了它们。 我最终使用了来自此处的英文版本:http://download.wikimedia.org/enwiki/20090306/,以及大小约为一半的西班牙语转储。 它们需要清理一些工作,但非常值得,而且包含许多有用的链接数据。