10得票2回答
使用oozie创建一个带有当天日期的参数。

我该如何创建一个格式为今天日期的参数:yyyy-mm-dd 在Oozie中,我将此变量传递给Hive脚本,该脚本会为该日期添加分区,我找到了使用以下函数创建时间戳的方法:<param>DATE=${wf:timestamp()}</param> 应该以以下形式返回输出:...

10得票2回答
如何部署和运行Oozie作业?

我想使用oozie来完成一个简单的任务。它将只包含一个简单的Pig操作。我有一个文件:FirstScript.pig 包含如下内容:dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader(); store dual...

10得票1回答
在Hadoop和Oozie中,工作、应用程序、任务、任务尝试日志之间的区别是什么?

我正在运行一个具有多个操作的 Oozie 作业,有一部分我无法使其正常工作。在故障排除过程中,我被大量的日志淹没。 在 YARN UI 中(yarn-site.xml 中的 yarn.resourceman­ager.webapp.address,通常在端口 8088 上),有应用程序 ap...

9得票4回答
Oozie的fork模式在一个action被杀死时会导致所有action都被杀死。

我在Oozie中使用fork/join,以便并行一些子工作流操作。 我的workflow.xml如下: <workflow-app name="myName" xmlns="uri:oozie:workflow:0.5" <start to="fork1"/> <ki...

9得票4回答
oozie -- 输出数据超过其限制 [2048]

我将尝试运行一个简单的工作流,执行一个Hive脚本。 这个Hive脚本只是调用JOIN操作(表非常大); 完成Hive脚本执行后,我期望看到工作流状态从RUNNING变为成功,但事实并非如此。 以下是工作流日志内容: 2016-05-31 15:52:34,590 WARN org.ap...

9得票1回答
Oozie如何处理依赖关系?

我有几个关于Oozie 2.3共享库的问题: 目前,我在我们的coordinator.properties文件中定义了共享库: oozie.use.system.libpath=true oozie.libpath=<hdfs_path> 以下是我的问题: 共享库何时...

9得票4回答
停止Oozie工作流程的执行

昨天我启动了一个oozie工作流。它启动了两个作业,整天都没有完成。今天早上我终止了它们,并进行了更改,现在想要测试。在终止了这两个作业之后,就像工作流被解除了卡住的状态,现在正在继续执行。我想杀死这个工作流,以便它不会继续启动新的作业来替换我终止的作业。在oozie命令行中如何做到这一点?

8得票2回答
Oozie命令重新运行跳过节点的工作流无效。

通过Oozie命令行重新运行工作流时有几个选项: oozie.wf.rerun.failnodes oozie.wf.rerun.skip.nodes 选项1可以正常工作,但使用选项2重新运行工作流会出现错误E0404。 oozie job -oozie http://<url...

8得票4回答
Hive内部错误:java.lang.ClassNotFoundException(org.apache.atlas.hive.hook.HiveHook)

我正在使用Hue通过Oozie运行Hive查询。 我通过Hue-Oozie工作流创建了一张表。 我的任务失败了,但是当我在Hive中检查时,表已经被创建了。 日志显示以下错误: 16157 [main] INFO org.apache.hadoop.hive.ql.hooks.ATSHoo...

8得票4回答
Oozie SSH操作

Oozie SSH操作问题: 问题: 我们想在集群的特定主机上运行一些命令。我们选择了SSH操作。我们最近一直遇到SSH问题。真正的问题可能是什么?请指点解决方案。 日志: AUTH_FAILED:无法执行操作[ssh -o PasswordAuthentication=no -o Kb...