我正在尝试这里的快速入门:http://datafu.incubator.apache.org/docs/datafu/getting-started.html。我已经尝试了几乎所有方法,但我确定问题肯定出在我的某个地方。我已经尝试过以下操作:
或者直接。
我遇到了这个名称解析错误:
2016-06-04 17:22:22,734 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: 无法使用导入解析 datafu.pig.stats.StreamingMedian:[, java.lang., org.apache.pig.builtin., org.apache.pig.impl.builtin.]。详细信息请参见日志文件: /home/hadoop/pig_1465053680252.log
当我查看datafu-pig-incubating-1.3.0.jar时,一切都正常。我也尝试了一些Bag函数,但仍然出现相同的错误。 我认为这是一种新手错误,我找不到关于datafu的特定答案,所以感谢您提供帮助。
- 导出PIG_HOME、CLASSPATH、PIG_CLASSPATH
- 使用-cpdatafu-pig-incubating-1.3.0.jar启动pig
- 本地注册和在hdfs中注册datafu-pig-incubating-1.3.0.jar => 两者都成功(至少没有显示错误)
但仍然无济于事。在pig上尝试:
register datafu-pig-incubating-1.3.0.jar
DEFINE Median datafu.pig.stats.StreamingMedian();
data = load '/user/hduser/numbers.txt' using PigStorage() as (val:int);
data2 = FOREACH (GROUP data ALL) GENERATE Median(data);
或者直接。
data2 = FOREACH (GROUP data ALL) GENERATE datafu.pig.stats.StreamingMedian(data);
我遇到了这个名称解析错误:
2016-06-04 17:22:22,734 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: 无法使用导入解析 datafu.pig.stats.StreamingMedian:[, java.lang., org.apache.pig.builtin., org.apache.pig.impl.builtin.]。详细信息请参见日志文件: /home/hadoop/pig_1465053680252.log
当我查看datafu-pig-incubating-1.3.0.jar时,一切都正常。我也尝试了一些Bag函数,但仍然出现相同的错误。 我认为这是一种新手错误,我找不到关于datafu的特定答案,所以感谢您提供帮助。