我刚接触Spark，需要构建一个共现图（在一条推文中，单词将成为节点，如果这些单词来自同一条推文，我们就在它们之间添加一条边），从流数据中获取，例如Twitter推文。我们可以使用Spark Streaming构建实时的共现推特图吗？Spark Streaming是否适用于此用例？我不确定是否可以使用Spark Streaming进行操作。如果不能，有哪些替代方案？
使用Spark Streaming从流数据构建图形
6
- Naren
2
有人能回答这个问题吗？ - Naren
我猜 Spark GraphX 使用的是针对批处理设计的 Google Pregel 计算模型。Flink Gelly 也采用了同样的方法。我一直在尝试自己找到一个可以处理流数据图处理的库。到目前为止，我只发现了一个实验性的单通道图形流处理库，它建立在 Flink 之上。https://github.com/vasia/gelly-streaming.git。如果你有任何发现，请告诉我。 :) - Raxit Solanki
1个回答
1
联现频率可以看作是一个图表或邻接矩阵，但这是您单词列表的大型稀疏直方图（频率计数）的产品空间。最可能您希望检测移动窗口相关性，因此应设计草图数据结构以跟踪流中出现率异常增加或减少。例如，对每个单词对应用计数布隆过滤器或计数最小草图-请参见http://twitter.github.io/algebird/#com.twitter.algebird.CMSCounting。
- jayprich
1
抱歉，我无法理解您想表达的内容。您能否详细说明一下您所说的事情？ - Naren
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 11 如何将数据从Kafka传输到Spark Streaming？
- 3 在Spark Streaming（Spark 2.0）中使用Kafka消费数据
- 6 Spark Streaming Kafka流
- 4 Spark Streaming 共享状态两个流之间
- 5 在Spark Streaming中使用updateStateByKey()从原始事件流生成状态更改流。
- 7 如何使用Spark Streaming读取流数据并在时间窗口内查找IP？
- 6 在Spark Streaming中合并两个流
- 3 在Kafka和TextSocket流中实现Spark Streaming数据传播
- 3 使用Spark Streaming/Structured Streaming从Kafka读取Avro消息
- 11 使用Spark Streaming从Cassandra读取数据