我有一个UDF,用于对记录进行自定义处理。在eval函数中,我使用第三方jar进行处理。我看到了job jar文件,但它不包括这个依赖项。有没有办法将依赖的jar包包含在job jar中?
(为了测试,我在本地模式下运行集群)。
或者我可以使用分布式缓存使依赖的jar包可用于UDF吗?
我尝试在Pig中注册依赖的jar包。对于第一个注册的jar包(所有UDF都打包在其中),我没有遇到问题。但是对于第二个jar包,在UDF尝试访问其中的类时,我遇到了问题。
或者我可以使用分布式缓存使依赖的jar包可用于UDF吗?
我尝试在Pig中注册依赖的jar包。对于第一个注册的jar包(所有UDF都打包在其中),我没有遇到问题。但是对于第二个jar包,在UDF尝试访问其中的类时,我遇到了问题。
REGISTER '/home/user/pig/udfrepository/projectUDF.jar'
REGISTER '/home/user/thridpartyjars/xyz.jar';
我在控制台上得到的日志如下:
2013-08-11 10:35:02,485 [Thread-14] WARN org.apache.hadoop.mapred.LocalJobRunner - job_local_0001
java.lang.NoSuchMethodError: org.xyz.abc.convertToOtherFormat(Lorg/DateTimeZone;)Lorg/DateTime;
at com.myproject.MyUDF.exec(MyUDF.java:70)
非常感谢您的帮助。
提前致谢。
'file:///home/user/pig/udfrepository/projectUDF.jar'
是怎么样的? - Martias