我们正在使用Cloudera CDH 5.3。我遇到了一个问题，即“/dfs/dn/current/Bp-12345-IpAddress-123456789/dncp-block-verification.log.curr”和“dncp-vlock-verification.log.prev”的大小在几小时内就会增加到TB级别。我在一些博客中阅读到，他们提到这是HDFS的一个错误。解决此问题的临时方法是停止数据节点服务并删除这些文件。但我们观察到日志文件在任何一个数据节点上都会增大（甚至在删除后的同一节点上也是如此）。因此，需要持续监控。请问有没有永久解决此问题的方法？
1个回答
1
一种解决方法，虽然有些激进，但可以完全禁用块扫描器。在HDFS DataNode配置中设置dfs.datanode.scan.period.hours键为0（默认值为504小时）。这样做的负面影响是，您的DN可能无法自动检测到损坏的块文件（需要等待未来的块读取客户端来检测它们）; 如果您的平均副本是3个左右，则这并不是什么大问题，但您可以将更改视为短期更改，直到升级到修复此问题的版本。
请注意，如果您升级到最新的CDH 5.4.x或更高版本，这个问题就不会发生了，因为这些版本包括HDFS-7430重写更改和相关的错误修复。这些变化已经取消了使用这样的本地文件，从而消除了问题。
- Harsh J
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接