刚开始探索图处理方法和工具。基本上我们需要计算一些标准指标，如页面排名、聚类系数、三角形计数、直径、连通性等。过去我很喜欢Octave，但当我们开始处理节点/边缘数量达到10亿的图时卡住了。 因此，可能的解决方案可以是使用Hadoop/Giraph构建分布式云，使用Spark/GraphX，...

我正在MAC上运行一个Bash脚本。这个脚本调用了一个用Scala语言编写的spark方法，需要大量调用。我现在正在尝试使用for循环调用这个spark方法100,000次。在运行了一小部分迭代（大约3000次）后，代码出现以下异常退出：org.apache.spark.rpc.RpcTime...

我有两个工作节点的集群。 Worker_Node_1 - 64GB RAM Worker_Node_2 - 32GB RAM 背景概述 : 我正在尝试在yarn-cluster上执行spark-submit，对图形应用Pregel计算从一个源顶点到所有其他顶点的最短路径距离，并将值打印在控制...

我正在尝试使用Spark的GraphX库实现拓扑排序。 这是我目前编写的代码： MyObject.scala import java.util.ArrayList import scala.collection.mutable.Queue import org.apache.spar...

我有以下有向图，其中给出了节点和边。 节点：1,2,3,4,5 边缘(1,2),(1,3),(1,4),(2,5),(3,4),(3,5),(4,5) 我该如何将这个有向图转换为无向图？是否需要使用内置方法进行转换？如果有内置方法，那么是哪种方法？或者，我是否需要在数据集中手动添加边，例如(...

我正在寻找一种可视化Spark Graphx中构建的图形的方法。据我所知，Graphx没有任何可视化方法，因此我需要将数据从Graphx导出到另一个图形库，但我卡在这里了。我看到了这个网站：https://lintool.github.io/warcbase-docs/Spark-Networ...

GraphX提供了一种用于查找图的连通组件的算法。 我并没有找到关于他们实现复杂度的说明。 通常，使用广度优先搜索或深度优先搜索（参见维基百科文章）可以在线性时间内找到连接的组件。但是，这需要你能够将图保存在内存中。 GraphX实现了分布式的、外部存储的算法，因此我认为它是不可比较的。 ...

假设我们在Apache GraphX中获得的输入如下： 顶点RDD： val vertexArray = Array( (1L, "Alice"), (2L, "Bob"), (3L, "Charlie"), (4L, "David"), (5L, "Ed"), (...

这是我的代码： class FNNode(val name: String) case class Ingredient(override val name: String, category: String) extends FNNode(name) val ingredients:...

如何使用子图函数获取一个仅包含特定连通分量中顶点和边的图形？假设我知道连通组件ID，最终目标是根据连通组件创建一个新图。我想保留原始图的顶点属性。