AWS Elastic MapReduce和AWS Kinesis Data Analytics之间有什么区别?

10
我正在使用这些工具执行Flink作业。 我认为只要进行适当的配置,两者都可以完全达到相同的效果。Kinesis数据分析是否有EMR无法做到或反之亦然的功能? Amazon Kinesis数据分析是分析流数据、获取可操作见解并实时响应业务和客户需求的最简单方法。 Amazon Elastic Map Reduce提供了一个托管的Hadoop框架,使得在动态可伸缩的Amazon EC2实例上处理大量数据变得轻松、快速、经济实惠。您还可以在EMR中运行其他流行的分布式框架,如Apache Spark、HBase、Presto和Flink。

1
你抓住了我...但是我认为Kinesis适用于实时作业,而MapReduce适用于可以等待的作业...不过我不确定。 - Niklas Rosencrantz
3
我曾经都用过,但我认为更多取决于你的生态系统和需求。EMR 更加方便操作,因为它只是一个带有预安装 Flink 的托管 Hadoop 集群。Kinesis 则提供了更多的托管 Flink 部署选项,需要更少的环境配置。EMR == 托管 Flink 集群,Kinesis == 托管单个 Flink 作业。如果你刚开始使用 Flink,还没有使用 Hadoop,并且必须选择 AWS 的其中一种产品,我会选择 Kinesis,然后在需要更多配置选项随着发展逐渐转移到 EMR。 - austin_ce
3个回答

1
主要区别在于可维护性和管理方面,取决于您的需求。
如果您想要更独立的管理和更多的控制权,则应选择AWS EMR。这意味着您需要负责管理EMR基础架构以及其中的Apache Flink集群。
但是,如果您希望更少的控制并且更专注于应用程序开发,并且需要快速交付(紧迫的截止日期),那么KDA是最好的选择。在这里,AWS为运行应用程序提供了所有必要的支持。它还可以使用AWS s3作为代码源,并通过UI提供最小限度的配置管理。
它也具有自动扩展功能(需要了解KCU)。
它提供了相同的Flink仪表板,您可以监视应用程序,并通过AWS Cloudwatch集成调试应用程序。
请查看此漂亮的演示文稿,让我知道是否有帮助。
请告诉我您的想法。

https://www.youtube.com/watch?v=c_LswkrwOvk


在这个上下文中,KCU是什么? - Jordan Morris

0

我会说两者之间的一个主要区别是Kinesis不像Elastic MapReduce(现在的EMR)那样提供托管的Hadoop服务。


你的回答可以通过提供更多支持信息来改进。请编辑以添加进一步的细节,例如引用或文档,以便他人可以确认你的答案是正确的。您可以在帮助中心找到有关如何编写良好答案的更多信息。 - Community

-1

我也有同样的问题。这个视频对于解释真实架构场景非常有帮助,而AWS解释在这里则试图解释Kinesis和EMR如何结合以及可能的用例。


第二个链接与此无关:它是2014年的,而且是针对Kinesis数据流的。 - N R
第一个链接是一般的数据架构,与Flink在EMR和Kinsis DA上的问题无关! - pratyahara

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接