我正在尝试使用Python构建离线Wiktionary,使用Wikimedia转储文件(.xml.bz2)。我以this文章作为指南开始。它涉及许多语言,我想将所有步骤组合为一个单独的Python项目。我已经找到了几乎所有所需的库。现在唯一的障碍是有效地将大的.xml.bz2文件分割成多个较小的文件,以便在搜索操作期间更快地解析。
我知道Python中存在bz2库,但它仅提供压缩和解压缩操作。但我需要像命令行中的bz2recover一样的东西,可以将大文件拆分为多个较小的块。
另一个重要的问题是,分割不应该分割以
之前有没有可用于处理此情况的库,还是必须从头开始编写代码?(任何概述/伪代码都将非常有帮助)。
注意:我希望使生成的软件包跨平台兼容,因此无法使用特定于操作系统的命令。
我知道Python中存在bz2库,但它仅提供压缩和解压缩操作。但我需要像命令行中的bz2recover一样的东西,可以将大文件拆分为多个较小的块。
另一个重要的问题是,分割不应该分割以
<page>
开头并以</page>
结束的页面内容,这些内容在已压缩的XML文档中。之前有没有可用于处理此情况的库,还是必须从头开始编写代码?(任何概述/伪代码都将非常有帮助)。
注意:我希望使生成的软件包跨平台兼容,因此无法使用特定于操作系统的命令。
</page> </mediawiki> - Andy Matteson
if b'</page>' in line
。 - AlwaysNull