如何在Hadoop Streaming中跳过失败的Map任务

Question

我正在运行一个Hadoop Streaming MapReduce任务，总共有26895个Map任务。然而，处理某个输入的一个任务总是失败。因此，我设置了mapreduce.map.failures.maxpercent=1，希望跳过失败的任务，但任务仍然没有成功。

Kind % Complete  Num Tasks  Pending Running Complete    Killed  Failed/Killed Task Attempts

map     100.00%   26895     0       0       26894       1       8 / 44

reduce  100.00%       1     0       0       0           1       0 / 1

我该怎么做才能跳过这个步骤呢？

- Woaibanzhuan

Answer 1

有一个可用的配置项。在mapred-site.xml文件中指定mapred.max.map.failures.percent和mapred.max.reduce.failures.percent来指定失败阈值。两者都设置为0。

这些属性已经被弃用，现在使用以下属性来完成此操作。

mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent

- Ashish

---

为什么将这两个参数设置为0？如果我将其设置为1，是否意味着如果1％的映射或减少失败就可以了？谢谢！ - Woaibanzhuan

这些属性现在已经弃用，推荐使用mapreduce.map.failures.maxpercent和mapreduce.reduce.failures.maxpercent。 - Nick