如何通过命令行运行Pentaho作业

7

我有一个大约需要1/2分钟才能完成的工作,现在尝试通过命令行运行这个工作,但它似乎永远不会结束。同时,我也没有看到任何错误信息。因此,这个工作似乎已经启动了,并且我知道这个工作在spoon中是有效的,你们有什么想法吗?

在Windows命令行中使用Kitchen.bat运行Pentaho Data Integration(PDI)的作业(job.kjb)时,会打印出调试信息。其中,PENTAHO_JAVA_HOME和_PENTAHO_JAVA环境变量分别指向Java安装路径和Java可执行文件路径。此外,它还设置了一些Java选项(例如,Xms1024m和Xmx2048m)和系统属性(例如,https.protocols和java.library.path)。在启动PDI之前,还会检查缓存是否启用,并显示Karaf实例编号、FastBin提供程序端口、Karaf端口和OSGI服务端口等详细信息。最后,作业将开始执行,并在完成后打印出日志信息。
Karaf:一个基于OSGI的开源应用服务器平台。FastBin:一种快速二进制数据格式。

更新 尝试从Karaf缓存中删除厨房缓存,开始运行但作业从未完成,现在我正在以调试级别运行作业并获得这些结果。 仍然,工作不会比这进一步,作业在勺子中有效,因此不能与作业有关。

C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration>kitchen.bat /file:C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration\Job.kjb /level:Debug DEBUG:使用PENTAHO_JAVA_HOME DEBUG:_PENTAHO_JAVA_HOME=C:\Program Files\Java\jre1.8.0_231 DEBUG:_PENTAHO_JAVA=C:\Program Files\Java\jre1.8.0_231\bin\java.exe C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration>"C:\Program Files\Java\jre1.8.0_231\bin\java.exe" "-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m" "-Dhttps.protocols=TLSv1,TLSv1.1,TLSv1.2" "-Djava.library.path=libswt\win64" "-DKETTLE_HOME=" "-DKETTLE_REPOSITORY=" "-DKETTLE_USER=" "-DKETTLE_PASSWORD=" "-DKETTLE_PLUGIN_PACKAGES=" "-DKETTLE_LOG_SIZE_LIMIT=" "-DKETTLE_JNDI_ROOT=" -jar launcher\launcher.jar -lib ..\libswt\win64 -main org.pentaho.di.kitchen.Kitchen -initialDir "C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration"\ /file:C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration\Job.kjb /level:Debug Java HotSpot(TM) 64-Bit Server VM 警告:忽略选项 MaxPermSize=256m;在8.0中删除了该支持 08:07:33,026 信息 [KarafBoot] 检查是否启用 org.pentaho.clean.karaf.cache 08:07:37,211 信息 [KarafInstance] * Karaf实例编号:1,位于 C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration\system\karaf\caches\kitchen\data-1 * FastBin提供者端口:52901 * Karaf端口:8802 * OSGI服务端口:9051 Dec 23, 2019 8:07:38 AM org.apache.karaf.main.Main$KarafLockCallback lockAquired INFO:已获取锁定。设置起始级别为 100 2019/12/23 08:07:38 - Kitchen - 日志记录等级为:Debug 2019/12/23 08:07:38 - Kitchen - 启动运行 2019/12/23 08:07:38 - Kitchen - 分配新任务 2019/12/23 08:07:38 - Kitchen - 解析命令行选项 2019-12-23 08:07:43.475:INFO:oejs.Server:jetty-8.1.15.v20140411 2019-12-23 08:07:43.538:INFO:oejs.AbstractConnector:Started NIOSocketConnectorWrapper@0.0.0.0:9051 Dec 23, 2019 8:07:43 AM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO:从捆绑包 org.apache.cxf.cxf-rt-management (182) 添加扩展[org.apache.cxf.management.InstrumentationManager] Dec 23, 2019 8:07:43 AM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO:从捆绑包 org.apache.cxf.cxf-rt-transports-http (183) 添加扩展[org.apache.cxf.transport.http.HTTPTransportFactory, org.apache.cxf.transport.http.HTTPWSDLExtensionLoader, org.apache.cxf.transport.http.policy.HTTPClientAssertionBuilder, org.apache.cxf.transport.http.policy.HTTPServerAssertionBuilder, org.apache.cxf.transport.http.policy.NoOpPolicyInterceptorProvider] Dec 23, 2019 8:07:44 AM org.pentaho.caching.impl.PentahoCacheManagerFactory$RegistrationHandler$1 onSuccess INFO:新缓存服务已注册

你能否尝试删除C:\Users\a\Downloads\pdi-ce-8.3.0.0-371\data-integration.\system\karaf\caches\kitchen目录,然后重新运行Kitchen?我很好奇你的Karaf是否因为某种原因被损坏。下次运行Kitchen时,Kitchen将重新构建那些缓存。 - eicherjc
@eicherjc 做得更进一步,达到了在 1440 分钟后清除过期内容,但从未完成,Pentaho 作业需要 1 分钟,在终止前等待了 20 分钟,之后重新运行,看起来又回到了最初的问题。 - OCTAVIAN
我刚刚尝试使用与您相同版本的Spoon通过kitchen运行作业,并没有遇到任何问题。没有挂起。如果您将作业的日志级别设置为Debug而不是Minimal,是否会提供更多有用的信息?如果没有,您能告诉我作业中使用的一些步骤吗? - eicherjc
刚刚更新了帖子,附上了你的步骤结果,伙计 @eicherjc - OCTAVIAN
这个工作是做什么的?(/lineage,/i18n和/marketplace端点是什么?)如果工作不能完成,我假设它会启动?您能告诉我们是否可以检查输出(例如数据库中的行数是否增加/更新/缩小?)它是否开始降低了?当运行Kitchen时,您的CPU是否疯狂?Kitchen是否在处理某些内容/等待某些内容?(我也可以使用jvisualvm / jtop / jheap...来检查内部JVM发生了什么) - wargre
显示剩余4条评论
2个回答

0

肯定是有更深层次的问题,因为我已经删除了所有文件,下载了最新版本,但它仍然无法正常工作。


0

要从命令行运行,您必须运行以下命令

路径到kitchen.sh/kitchen.sh -file=".ktr文件名" --level=Debug >> "log.txt"


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接