Hadoop Map Reduce和Google Map Reduce的区别

Question

Hadoop Map Reduce和Google Map Reduce有什么区别？

除了Hadoop为Map Reduce提供标准化之外，还有什么是不同的吗？

- Monica Shiralkar

---

我不确定这个问题是否适合在这里提问。 - KKa

Answer 1

Google MapReduce和Hadoop是MapReduce框架/理念的两个不同实现（实例）。Hadoop是开源的，而Google MapReduce则不是，并且实际上关于它的详细信息并不多。

由于它们处理大数据集，所以必须依靠分布式文件系统。Hadoop使用标准的分布式文件系统HDFS（Hadoop Distributed File Systems），而Google MapReduce使用GFS（Google File System）

Hadoop是用Java实现的。Google MapReduce似乎是用C++实现的。

- Razvan

---

Hadoop Map Reduce 基于 Google Map Reduce。那么 Hadoop Map Reduce 相对于 Google Map Reduce 有哪些新的东西呢？谢谢 Razvan。 - Monica Shiralkar

Hadoop基于多年前Google的一篇论文。如果你想了解Google MapReduce的当前工作原理，你必须加入Google并亲自查看。 - Thomas Jungblut

我认为你不应该这样看待：Hadoop相对于Google Map Reduce有什么新的变化。Hadoop是Google Map Reduce的一个等效开源项目，但我不认为它是基于Google Map Reduce的。Hadoop的创造者阅读了Google Map Reduce概念的论文，并受到启发，创建了一个Java开源版本的（在概念上）相同框架。 - Razvan

很可能它不是用Java编写的。 - Razvan

Google MapReduce是用C++编写的，根据《MapReduce：大型集群上简化数据处理》（http://static.googleusercontent.com/media/research.google.com/fr//archive/mapreduce-osdi04.pdf）实现。 - eliasah

Answer 2

谷歌通过他们的BigQuery网络服务公开了Map Reduce功能。它与Hive类似（即使用类似SQL的语言在后台生成Map Reduce作业）。下面是使用Big Query的基于浏览器的查询工具的示例。与谷歌将其技术作为公共产品发布一样，内部细节不会被暴露，也不能调整设置。您只需使用API调用Web服务，并使用谷歌的基础设施将结果返回到您的应用程序即可。

- Lynn Langit

---

BigQuery是Dremel的一个公共实例，使用专门的查询引擎而非MapReduce。 - Yaroslav Bulatov

Answer 3

您可以查看以下链接：

http://www.linuxforu.com/2011/03/mapreduce-more-power-less-code-hadoop/

- Ashutosh

Answer 4

请查看以下链接，了解HDFS与GFS的区别：

HDFS VS GFS

https://sensaran.wordpress.com/2015/11/24/gfs-vs-hdfs/

- Skumar

---

鼓励提供外部资源链接，但请添加上下文说明该链接的内容和目的。在引用重要链接时，请引用最相关的部分，以防目标站点无法访问或永久离线。 - Milad Faridnia