我正在使用YARN作为资源管理器,在2个节点上在EMR中运行一个Spark作业。如果我的条件不满足,我需要有意地使步骤失败,以便下一步不会按照配置执行。为了实现这一点,我在将日志消息插入DynamoDB后抛出自定义异常。
它可以正常运行,但是Dynamo中的记录被插入了两次。
以下是我的代码。
如果我删除抛出异常的行,它就可以正常工作,但步骤已经完成。
如何使步骤失败,而不会重复获取日志信息。
感谢您的帮助。
敬礼, Sorabh
它可以正常运行,但是Dynamo中的记录被插入了两次。
以下是我的代码。
if(<condition>) {
<method call to insert in dynamo>
throw new SparkException(<msg>);
return;
}
如果我删除抛出异常的行,它就可以正常工作,但步骤已经完成。
如何使步骤失败,而不会重复获取日志信息。
感谢您的帮助。
敬礼, Sorabh