Pentaho | GC overhead limit exceeded

Question

我希望将xlsx文件中的数据插入表格中。Excel大约有1,20,000条记录。但是在运行转换时，我收到以下错误消息：

GC overhead limit exceeded

我已经在 spoon.bat 中进行了更改。

Xmx2g -XX:MaxPermSize=1024m

但我仍然收到这个错误。

请问有人能帮忙解决吗？

- Nilesh Patil

---

尝试进一步增加Xmx并查看是否有帮助。此外，值得使用“ps”命令查看您设置的参数是否实际应用于进程。 - Ivan

你找到解决方案了吗？ - Luis Leal

Answer 1

在我的情况下，除了添加Xms和Xmx参数（这并没有完全解决问题），我还在spoon.sh中添加了选项-XX：-UseGCOverheadLimit，问题得到了解决。

- Luis Leal

Answer 2

是的，它起作用了。我将内存增加到4GB，问题已经解决。

如果"%PENTAHO_DI_JAVA_OPTIONS%"为空，则设置PENTAHO_DI_JAVA_OPTIONS为"-Xms2048m" "-Xmx4096m"

- Lenny

Answer 3

这是 Apache POI 已知的一个 bug。 xlsx 输入步骤无法读取大文件。 在这种情况下，我通常会将我的文件转换为 CVS 格式。 以下是 jira 案例。 http://jira.pentaho.com/browse/PDI-5269

PENTAHO_DI_JAVA_OPTIONS 环境变量用于添加选项到 jre 的开始。我的设置为 "-Xms512m -Xmx3000M -XX:MaxPermSize=256m"。

- Gildas

Answer 4

将文件拆分为两个不同的文件，在一个文件中保存一半的数据，另一个文件中保存剩余的数据。它完美地工作。

- Pravin_Shahapure