我搜索了很多与Hadoop数据节点因GC超时限制而死亡的相关信息,但是没有找到太多,所以我想发布一个问题。我们正在运行一个测试,需要确认我们的Hadoop集群可以处理存储在其上的大约3百万个文件(当前为4个节点集群)。我们使用64位JVM,并为namenode分配了8g。然而,当我的测试程序将更多文件写入DFS时,数据节点开始死机,并显示以下错误:
Exception in thread "DataNode:[/ var / hadoop / data / hadoop / data]" java.lang.OutOfMemoryError:GC overhead limit exceeded
我看到一些帖子提到了一些选项(parallel GC?),我猜这些可以在hadoop-env.sh中设置,但我不太确定语法,而且我有点新手,所以我没太明白怎么做。感谢您在这里提供的任何帮助!
我看到一些帖子提到了一些选项(parallel GC?),我猜这些可以在hadoop-env.sh中设置,但我不太确定语法,而且我有点新手,所以我没太明白怎么做。感谢您在这里提供的任何帮助!