Yarn容器的理解和调优

Question

Yarn容器的理解和调优

10

你好，我们最近从mr1升级到了yarn。我知道容器是一个抽象的概念，但我不明白一个容器可以生成多少个jvm任务（map、reduce、filter等），或者说容器是否可以在多个map或reduce任务之间重复使用。我在以下博客中阅读到：What is a container in YARN?

"每个mapper和reducer都在自己的容器上运行以保持准确性！" 这意味着如果我查看AM日志，我应该看到分配的容器数量等于map任务（失败|成功）的数量加上reduce任务的数量，这正确吗？

我知道容器的数量会随着应用程序生命周期的变化而改变，基于AM请求、拆分、调度器等。

但有没有一种方法可以为给定的应用程序请求初始的最小容器数量。我认为一种方法是配置公平调度程序队列。但还有其他可以指定它的方法吗？

在MR的情况下，如果我有 mapreduce.map.memory.mb = 3gb 和 mapreduce.map.cpu.vcores=4。我还有 yarn.scheduler.minimum-allocation-mb = 1024m 和 yarn.scheduler.minimum-allocation-vcores = 1。

这是否意味着我将获得一个具有4个核心的容器，或者是4个具有一个核心的容器？

此外，不清楚在哪里可以指定 mapreduce.map.memory.mb 和 mapreduce.map.cpu.vcores。它们应该在客户端节点上设置还是也可以每个应用程序设置？

另外，从RM UI或AM UI中是否有一种方法可以查看分配给给定应用程序的当前容器？

- nir

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Manjunath Ballur · Accepted Answer

容器是一个逻辑实体，它允许应用程序在特定的主机（节点管理器）上使用特定数量的资源（内存、CPU等）。一个容器不能在同一个应用程序的映射和减少任务之间被重复使用。

例如，我有一个Mapreduce应用程序，它生成10个映射器:

我在一台拥有8个虚拟内核的单个主机上运行此应用程序（此值由配置参数yarn.nodemanager.resource.cpu-vcores确定）。默认情况下，此值设置为8。请查看“YarnConfiguration.java”。

  /** Number of Virtual CPU Cores which can be allocated for containers.*/
  public static final String NM_VCORES = NM_PREFIX + "resource.cpu-vcores";
  public static final int DEFAULT_NM_VCORES = 8;

由于有10个映射器和1个应用程序主节点，产生的容器总数为11。

因此，对于每个map/reduce任务，都会启动不同的容器。

但是，在Yarn中，对于MapReduce作业，存在Uber job的概念，该概念使用户能够使用单个容器来处理多个映射器和1个减少器（ https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml：目前代码不能支持多个reduce并且将忽略较大的值）。

没有可用的配置参数来指定容器的最小数量。请求所需容器数量是应用程序主节点的责任。
yarn.scheduler.minimum-allocation-mb - 确定每个容器的最小内存分配量（yarn.scheduler.maximum-allocation-mb 确定每个容器请求的最大分配量）

yarn.scheduler.minimum-allocation-vcores - 确定每个容器的最小vCore分配量（yarn.scheduler.maximum-allocation-vcores 确定每个容器请求的最大分配量）

在您的情况下，您正在请求 "mapreduce.map.memory.mb = 3m (3MB) 和 mapreduce.map.cpu.vcores = 4 (4 vCores)。

因此，对于每个mapper，您将获得具有4个vCores的1个容器（假设yarn.scheduler.maximum-allocation-vcores >= 4）。
参数"mapreduce.map.memory.mb"和"mapreduce.map.cpu.vcores"设置在mapred-site.xml文件中。如果此配置参数不是"final"，则可以在提交作业之前在客户端中覆盖它。
是的。从应用程序的"应用程序尝试"页面，您可以看到分配的容器数量。请查看上面附加的图。