Apache Pig UDF 解析问题

Question

我有以下Java代码（返回测试用的固定值）：

Static.java

package com.company;

import java.io.IOException;
import org.apache.pig.EvalFunc;
import org.apache.pig.data.Tuple;
import org.apache.pig.impl.util.WrappedIOException;

public class Static extends EvalFunc<String>
{
        public String exec(Tuple input) throws IOException
        {
                if (input == null || input.size() == 0)
                    return null;
                try
                {
                        String str = (String)input.get(0);
                        return "5876L";
                }
                catch (Exception e)
                {
                        throw WrappedIOException.wrap("Caught exception processing input row ", e);
                }
        }
}

使用的构建工具

javac -Xbootclasspath:/usr/lib/jvm/j2sdk1.6-oracle/jre/lib/rt.jar -source 1.6 -cp `hadoop classpath`:/opt/cloudera/parcels/CDH-4.3.0-1.cdh4.3.0.p0.22/lib/pig/pig-0.11.0-cdh4.3.0.jar Static.java

jar -cf Static.jar Static.class

Apache Pig作业

REGISTER /path/to/Static.jar;

loaded = LOAD 'data/' USING com.twitter.elephantbird.pig.store.LzoPigStorage() AS (line:chararray);

loaded = SAMPLE loaded 0.00001;

sized = FOREACH loaded GENERATE com.company.Static(line);

DUMP sized;

Is ran with

# pig -f static.pig -x local

哪些错误

[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: Could not resolve com.company.Static using imports: [, org.apache.pig.builtin., org.apache.pig.impl.builtin.]

改变行

sized = FOREACH loaded GENERATE com.company.Static(line);

To

sized = FOREACH loaded GENERATE Static(request);

它报错了。

[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. Static (wrong name: com/company/Static)

- Carl Sagan

---

是的，抱歉。在整个代码中，它始终是com.company。当我清理代码时，我错过了这个包名。你能把你的引用也删除吗？ - Carl Sagan

你能试试 DEFINE Static com.company.Static(); 然后使用 Static 来调用UDF吗？这样行得通吗？ - Hari Menon

[主要] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1070：无法通过导入解析 com.company.Static：[, org.apache.pig.builtin., org.apache.pig.impl.builtin.] - Carl Sagan

Answer 1

您似乎在jar包中缺少所需的目录结构。 com.company.Static （即Static.class文件）应位于jar包中的com/company目录下。有关更多详细信息，请参见此其他SO问题。

有关更多详细信息，请参见我对您发布的另一个问题的回答。

- cabad