有人知道哪里可以找到日常英语文本的档案或收藏品，用于小型语料库吗？我一直在使用古登堡计划书籍作为工作原型，并希望融入更多现代语言。这里的一个最新答案间接地指向了一个很棒的usenet电影评论档案，这个想法没有出现在我的脑海中，非常好。对于这个特定的程序，技术usenet档案或编程邮件列表会倾斜结果并且很难分析，但是任何一种通用博客文本、聊天记录或其他可能对他人有用的东西都将非常有帮助。此外，一个部分或可下载的研究语料库，标记不要太多，或者一些启发式方法来找到适当的维基百科文章子集，或任何其他想法，都非常感激。（顺便说一句，我正在遵守下载方面的规定，使用故意缓慢的脚本，不会对托管此类材料的服务器造成负担，以防您认为有道德风险指向某些庞大的东西给我。）
更新：用户S0rin指出，维基百科要求不进行爬取，并提供此导出工具。 古腾堡计划在此处指定了一个政策，底线是尽量不进行爬取，但如果需要：“将您的机器人配置为在请求之间等待至少2秒钟。”
更新2 维基百科转储是最好的方法，感谢回答者指出了它们。 我最终使用了来自此处的英文版本：http://download.wikimedia.org/enwiki/20090306/，以及大小约为一半的西班牙语转储。 它们需要清理一些工作，但非常值得，而且包含许多有用的链接数据。
更新2 维基百科转储是最好的方法，感谢回答者指出了它们。 我最终使用了来自此处的英文版本：http://download.wikimedia.org/enwiki/20090306/，以及大小约为一半的西班牙语转储。 它们需要清理一些工作，但非常值得，而且包含许多有用的链接数据。