我们正在考虑将Apache Spark集成到我们的计算过程中,最初我们想使用Apache Oozie和标准MR或MO(Map-Only)作业。
经过一些研究,仍然有几个问题需要解决:
1. 是否可以使用Apache Oozie编排Apache Spark进程?如果是,如何实现?
2. Oozie是否还必要,或者Spark自己能够处理编排?(统一似乎是Spark的主要关注点之一)
请在回答时考虑以下场景:
1. 每4小时执行工作流程
2. 每当可以访问特定数据时执行工作流程
3. 触发工作流并配置参数
谢谢您提前的回答。
经过一些研究,仍然有几个问题需要解决:
1. 是否可以使用Apache Oozie编排Apache Spark进程?如果是,如何实现?
2. Oozie是否还必要,或者Spark自己能够处理编排?(统一似乎是Spark的主要关注点之一)
请在回答时考虑以下场景:
1. 每4小时执行工作流程
2. 每当可以访问特定数据时执行工作流程
3. 触发工作流并配置参数
谢谢您提前的回答。