JanusGraph数据批量导入

4
我们正在使用Python在Kubernetes(GCP)上将数据注入到Janusgraph中。我们进行了多线程、节点链接和索引,但仍然只能在60分钟内从bigquery中注入10万(节点)记录。
Kubernetes规格-1个带有25个vCPU和150 GiB RAM的Pod ids.block-size=1000万 线程池-16 节点池-16 堆大小-4 gb
问题:
1. 有没有其他方法可以采取来增加摄入性能,减少总时间。 2. 我们可以通过Python驱动程序创建多少个与Janusgraph的多个连接。目前我们能够创建30个线程(连接),但当我们增加线程数时,连接要么卡住,要么性能下降。
非常感谢您提供的任何详细信息/帮助。

格莱姆林查询:g.V().hasLabel("http://purl.uniprot.org/core/Helix_Annotation").has("id", "http://purl.uniprot.org/uniprot/P06931#SIPC5C5063B7561AB45").has("node_id", "http://purl.uniprot.org/uniprot/P06931#SIPC5C5063B7561AB45").has("rdf_type", "http://purl.uniprot.org/uniprot/").has("http://purl.uniprot.org/core/range", "http://purl.uniprot.org/range/22571007582875950tt125tt127").fold().coalesce(unfold(), addV("http://purl.uniprot.org/core/Helix_Annotation").property("id", "http://purl.uniprot.org/uniprot/P06931#SIPC5C5063B7561AB45").property("node_id", "http://purl.uniprot.org/uniprot/P06931#SIPC5C5063B7561AB45").property("rdf_type", "http://purl.uniprot.org/uniprot/").property("http://purl.uniprot.org/core/range", "http://purl.uniprot.org/range/22571007582875950tt125tt127")).V().hasLabel("http://www.w3.org/1999/02/22-rdf-syntax-ns#Statement").has("id", "http://purl.uniprot.org/uniprot/#_kb.P06931_up.annotation_FA85AD309172A9A7").has("node_id", "http://purl.uniprot.org/uniprot/#_kb.P06931_up.annotation_FA85AD309172A9A7").has("rdf_type", "http://purl.uniprot.org/uniprot/").has("http://purl.uniprot.org/core/attribution", "http://purl.uniprot.org/uniprot/P06931#attribution-AE0E09C5B47CC2714C9061D3806995B4").fold().coalesce(unfold(), addV("http://www.w3.org/1999/02/22-rdf-syntax-ns#Statement").property("id", "http://purl.uniprot.org/uniprot/#_kb.P06931_up.annotation_FA85AD309172A9A7").property("node_id", "http://purl.uniprot.org/uniprot/#_kb.P06931_up.annotation_FA85AD309172A9A7").property("rdf_type", "http://purl.uniprot.org/uniprot/").property("http://purl.uniprot.org/core/attribution", "http://purl.uniprot.org/uniprot/P06931#attribution-AE0E09C5B47CC2714C9061D3806995B4"))

1个回答

0
你尝试过使用Groovy脚本吗?我能够在单线程下将约5K个节点插入到一个RAM和CPU较少的JanusGraph中,仅用了约10秒钟。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接