Apache Flume和Apache Storm有什么区别?

6

Apache Flume和Apache Storm之间有什么区别?

  • 使用storm是否可以将日志数据传输到Hadoop集群中?
  • 由于两者都用于流数据处理,因此storm是否可以作为flume的替代方案?
1个回答

10
  • Apache Flume是一项用于收集大量流式数据(特别是日志)的服务。Flume使用其称为数据汇的机制将数据推送给消费者。Flume可以直接将数据推送到许多流行的汇点,包括HDFS、HBase、Cassandra和一些关系型数据库。
  • Apache Storm涉及流式数据。它是批处理和流处理之间的桥梁,而Hadoop并非本质上设计用于处理流数据。Storm持续运行,处理传入数据流并将其分成批次,以便Hadoop更轻松地摄取它。数据源称为Spouts,每个处理节点称为Bolt。Bolts对数据执行计算和处理操作,包括将输出推送到数据存储和其他服务中。
  • 如果您需要立即使用的内容,请选择Flume,一旦您决定推送或拉取哪种方式更合理。如果流数据现在只是已开发的Hadoop环境的小附加功能,Storm是一个不错的选择。

  • 我们可以使用Storm将日志数据摄入到Hadoop集群中。

  • 我们可以使用Storm作为替代Flume的方案。

@hassam 如果您满意,请接受答案并帮助社区。 - Anand Jain

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接