mclapply随机返回NULL

Question

mclapply随机返回NULL

15

当我使用mclapply时，偶尔（真的很随机）会出现错误的结果。这个问题在互联网上的其他帖子中被很彻底地描述了，例如（http://r.789695.n4.nabble.com/Bug-in-mclapply-td4652743.html）。然而，还没有提供解决方案。有谁知道如何解决这个问题吗？谢谢！

- Kudzu

2

当分叉的进程需要很长时间才能返回时，mclapply会返回null；我预计有一种内置超时机制会在一定时间后导致该进程死亡，但我无法在源代码中找到它的任何信息。 - James King

用户报告这个问题的另一个链接：http://r.789695.n4.nabble.com/Problem-with-mclapply-losing-output-data-td3395746.html - James King

Kudzu，Steve Weston建议内存不足的杀手可能会终止mclapply进程，这正是我遇到的nulls的原因。您能验证oom_killer是否也导致了您的nulls吗？ - James King

2个回答

5

我添加这个答案是为了让其他遇到同样问题的人不必浏览冗长的评论线程（我是赏金提供者，但不是原帖作者）。 mclapply 最初使用 NULLS 填充它创建的列表。当工作进程返回值时，这些值将覆盖 NULLS。如果一个进程在没有返回值的情况下死亡，则 mclapply 将返回一个 NULL。

当内存变得不足时，Linux 内存杀手 (oom killer) 开始默默地杀死进程。它不会打印任何东西到控制台来告诉你它在做什么，尽管 oom killer 的活动会显示在系统日志中。在这种情况下，mclapply 的输出似乎已经随机地受到 NULLS 的污染。 https://lwn.net/Articles/317814/

- James King

我现在正在处理的问题...你是如何停止oom killer的？ - gannawag

1

@gannawag 我运行了较少的进程，以避免内存耗尽。 - James King

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Steve Weston · Accepted Answer

您提到的Winston Chang报告的问题似乎已在R 2.15.3中修复。在mccollect中存在一个错误，当将工人结果分配给结果列表时会发生此错误:

if (is.raw(r)) res[[which(pid == pids)]] <- unserialize(r)

如果unserialize(r)返回NULL，则此方法将失败，因为以这种方式将NULL赋值给列表会删除列表的相应元素。R 2.15.3中对此进行了更改：

if (is.raw(r)) # unserialize(r) might be null
    res[which(pid == pids)] <- list(unserialize(r))

这是一种将未知值赋给列表的安全方式。

如果您使用的是R <= 2.15.2，解决方法是升级到R >= 2.15.3。如果您在使用R >= 2.15.3时遇到问题，则很可能不同于Winston Chang报告的问题。

我还阅读了Elizabeth Purdom启动的R-help线程中讨论的问题。没有具体的测试用例，我的猜测是问题不是由mclapply中的错误引起的，因为我可以使用以下函数重现相同的症状：

work <- function(i, poison) {
  if (i == poison) quit(save='no')
  i
}

如果一个通过mclapply开始执行任务的工作进程因任何原因（接收信号、段错误、退出）而死亡，那么mclapply将为所有分配给该工作进程的任务返回NULL：

> library(parallel)
> mclapply(1:4, work, 3, mc.cores=2)
[[1]]
NULL

[[2]]
[1] 2

[[3]]
NULL

[[4]]
[1] 4

在这种情况下，由于预调度，任务1和3返回了NULL值，尽管只有任务3实际上失败了。

如果使用parLapply或clusterApply等函数时，一个工作进程死亡，会报告一个错误：

> cl <- makePSOCKcluster(3)
> parLapply(cl, 1:4, work, 3)
Error in unserialize(node$con) : error reading from connection

我看过许多这样的报告，我认为它们往往发生在使用大量难以转化为可重复测试用例的软件包的大型程序中。

当然，在此示例中，使用lapply时也会出现错误，尽管该错误不像mclapply那样被隐藏。如果在使用lapply时似乎没有出现问题，那么可能是因为问题很少发生，所以只会在使用mclapply并行执行非常大的运行时才会发生。但也有可能错误发生，并不是因为任务是并行执行的，而是因为它们是由分叉进程执行的。例如，各种图形操作在分叉进程中执行时会失败。