163得票4回答
Flink和Storm的主要区别是什么?

Flink被与Spark相比较,但我认为这是错误的比较,因为它将一个窗口事件处理系统与微批处理进行比较;同样,将Flink与Samza进行比较对我来说也没有太多意义。在这两种情况下,它比较了实时和批处理事件处理策略,即使在Samza的情况下规模更小。但我想知道Flink与Storm相比如何,因...

112得票7回答
Apache Kafka与Apache Storm比较

Apache Kafka:分布式消息系统 Apache Storm:实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据? 就实时数据管道而言,它们似乎可以完成相同的工作。那么我们如何在数据管道中同时使用这两种技术呢?

57得票9回答
如何在保留矩阵维度的同时序列化numpy数组?

numpy.array.tostring 看起来不会保存矩阵维度的信息(请参见此问题), 需要用户调用 numpy.array.reshape 函数。 有没有一种方法可以将一个 numpy 数组序列化为 JSON 格式并同时保留这些信息? 注意:数组可能包含整数、浮点数或布尔类型。可以预期...

52得票1回答
"Storm并行性中的任务"是什么?

我正在学习Twitter Storm,参考了一篇好文章 "理解Storm拓扑的并行性"。 然而,“任务”这个概念让我有些困惑。一个任务是组件(spout或bolt)的运行实例吗?具有多个任务的执行器实际上是指同一组件被执行多次,我理解对吗? 此外,在一般的并行性意义下,Storm将为spo...

48得票4回答
测试 Storm 的 Bolt 和 Spout

这是一个关于Java编写的Storm拓扑中如何对Bolts和Spouts进行单元测试的一般性问题。 在单元测试(JUnit?)中,对于测试 Bolts 和 Spouts,有哪些推荐的实践和指南? 例如,我可以为一个Bolt编写一个JUnit测试,但如果没有完全理解框架(比如Bolt的生命周...

39得票5回答
风暴(Storm)与三叉戟(Trident):什么情况下不应使用三叉戟?

我正在使用Storm,它适用于许多用例。 最近,我看了一下Trident,它是Storm的高级抽象。 它支持仅一次处理,并使有状态的处理更加容易。 但现在我想知道... 为什么不能总是使用Trident而不是Storm呢? 我到目前为止阅读过的内容: Trident按批次处理消息,因此...

35得票4回答
“仅一次”和“至少一次”保证的区别

我正在学习分布式系统,并参考这个旧问题:stackoverflow 链接 我真的不理解什么是 exactly-once、at-least-once 和 at-most-once 保证,我在 Kafka、Flink、Storm 和 Cassandra 中读到了这些概念。例如,有人说 Flink...

32得票3回答
Apache Samza和Apache Storm在使用案例上有何不同?

我发现了这篇文章,它声称对比了Samza和Storm,但似乎只涉及实现细节。 这两个分布式计算引擎在使用情况上有何不同?每种工具适用于哪种类型的作业?

29得票4回答
java.lang.NoSuchFieldError: INSTANCE

尝试通过StormSubmitter提交我的拓扑时,我遇到了问题 - Caused by: java.lang.NoSuchFieldError: INSTANCE at org.apache.http.impl.io.DefaultHttpRequestWriterFactory.&l...

29得票6回答
Apache Storm与Hadoop相比较

Storm和Hadoop有什么不同?Hadoop似乎是开源大规模批处理的事实标准,Storm是否比Hadoop更具优势?或者它们完全不同?