如何使用RDFLib解析大型数据集？

Question

如何使用RDFLib解析大型数据集？

9

我正在尝试使用RDFLib 3.0解析几个大图，显然它可以处理第一个图，但在第二个图上崩溃了（MemoryError）...看起来MySQL不再支持存储，你能否建议一种方法来解析这些图？

Traceback (most recent call last):
  File "names.py", line 152, in <module>
    main()
  File "names.py", line 91, in main
    locals()[graphname].parse(filename, format="nt")
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/graph.py", line 938, in parse
    location=location, file=file, data=data, **args)
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/graph.py", line 757, in parse
    parser.parse(source, self, **args)
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/nt.py", line 24, in parse
    parser.parse(f)
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/ntriples.py", line 124, in parse
    self.line = self.readline()
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/ntriples.py", line 151, in readline
    m = r_line.match(self.buffer)
MemoryError

- user52028778

你在这些文件中有多少个三元组？它们有多大？ - Manuel Salvadores

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Manuel Salvadores · Accepted Answer

这些RDF文件中有多少个三元组？我已经测试了rdflib，它的规模不会超过几万个三元组-如果你很幸运的话。对于包含数百万个三元组的文件，它表现得并不好。

最好的解析器是来自Redland Libraries的rapper。我的第一个建议是不要使用RDF/XML，而是选择ntriples。ntriples是比RDF/XML更轻的格式。您可以使用rapper从RDF / XML转换为ntriples： rapper -i rdfxml -o ntriples YOUR_FILE.rdf > YOUR_FILE.ntriples 如果您喜欢Python，可以使用Redland python bindings。

import RDF
parser=RDF.Parser(name="ntriples")
model=RDF.Model()
stream=parser.parse_into_model(model,"file://file_path",
                                      "http://your_base_uri.org")
for triple in model:
    print triple.subject, triple.predicate, triple.object

我已经使用redland库解析了相当大的文件（几个GB），没有任何问题。

如果你处理大型数据集，最终可能需要将数据断言到可扩展的三元存储库中，我通常使用的是4store。 4store内部使用redland解析RDF文件。从长远来看，我认为，选择可扩展的三元存储库是你必须要做的。通过它，您将能够使用SPARQL查询您的数据，并使用SPARQL/Update插入和删除三元组。