Hadoop中单节点模式和伪分布式模式有什么区别?

13

我想知道从配置角度和理论角度来看有什么区别?

这两种模式是否使用不同的端口号?还是有其他区别?

2个回答

35

我的两分钱。

单节点设置(独立设置)

默认情况下,Hadoop配置为以非分布式或独立模式运行,作为单个Java进程。没有守护程序在运行,一切都在单个JVM实例中运行。不使用HDFS。

就配置而言,您无需做任何事情,除了JAVA_HOME。只需下载tarball,解压缩即可。

伪分布式模式

Hadoop守护程序在本地计算机上运行,从而模拟小规模集群。不同的Hadoop守护程序在不同的JVM实例中运行,但在单台机器上运行。使用HDFS而不是本地FS。

就伪分布式设置而言,除了JAVA_HOME之外,您需要设置至少以下2个属性:

  1. core-site.xml中的fs.default.name

  2. mapred-site.xml中的mapred.job.tracker

您可以拥有多个数据节点和任务跟踪器,但在单台机器上这样做没有太大意义。

希望有所帮助。


如果我的Hadoop是通过Ambari安装的呢?似乎我什么都没做,但是HDFS正在运行,并且它在单台机器上?有没有办法知道我安装的Hadoop模式是什么?谢谢。 - yuliansen

4

单节点设置是指您(大概)在一台计算机上只有一个数据节点和一个任务跟踪器。

伪分布式设置是指在一台计算机上有多个数据节点和(大概)任务跟踪器。因此,您需要在一台计算机上运行多个数据节点服务实例来模拟多节点集群。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接