使用Docker构建多节点Hadoop集群

Question

我正在规划一个基于Docker的多节点Hadoop集群，需要使用轻量级易用的虚拟化系统。当前架构（文档相关）包含1个主节点和3个从节点。该主机使用HDFS文件系统和KVM进行虚拟化。整个云由Cloudera Manager管理。在此集群上安装了几个Hadoop模块。还有一个NodeJS数据上传服务。这次我应该基于Docker的架构。我已经阅读了几篇教程并有一些想法，但也有一些问题。

A. 你认为https://github.com/Lewuathe/docker-hadoop-cluster是我项目的好基础吗？我还发现了一个官方image，但它只是单节点。

B. 如果我想将此应用程序放在单个容器中，系统要求会发生什么变化？这将是很棒的，因为这种架构应该可以在不同位置工作，因此更改可以轻松地在这些位置之间传输。所谓的克隆之间的同步非常重要。

C. 你是否有其他想法或最佳实践？

- user4725754

Answer 1

截至2016年9月，没有快速答案。 https://github.com/Lewuathe/docker-hadoop-cluster似乎不是一个好的起点，因为它应该是通用的B选项。

关注https://github.com/sequenceiq/hadoop-docker和https://github.com/kiwenlau/hadoop-cluster-docker。

- Paul Verest

Answer 2

回答您的问题C，您可能想要查看BlueData的软件平台：http://www.bluedata.com/blog/2015/06/docker-containers-big-data-clusters 它旨在在基于Docker的环境中运行多节点Hadoop集群，并提供可供下载的免费版本（您也可以在AWS EC2实例中运行它）。

- BlueData

---

笔记本电脑上有16 GB的RAM？相当不错，所以我应该使用亚马逊机器镜像。 - user4725754

没错 - 它需要一台相当强大的机器。我们建议使用16GB RAM，但是您至少需要10GB专用RAM才能运行最小的多节点配置（例如单个Hadoop分发的两个节点集群）或在笔记本电脑上运行多个分发版本。 - BlueData

但正如你所指出的，你可以使用亚马逊机器映像。 - BlueData

Answer 3

实际上，这项工作已经为您完成了：

https://hub.docker.com/r/cloudera/clusterdock/

它包括一个预打包的多节点CDH集群，其中Cloudera Manager作为集群管理等可选组件。

- Justin Kestelyn