像一个袋子一样展开元组

Question

我的数据集如下所示：

( A, (1,2) )
( B, (2,9) )

我希望在Pig中“展开”元组，基本上是为了每个内部元组中找到的值重复每个记录，使期望的输出如下：

( A, 1 )
( A, 2 )
( B, 2 ) 
( B, 9 )

我知道当元组（1,2）和（2,9）是袋子时，这是可能的。

- syker

Answer 1

您的见解很好，可以通过将元组转换为包来实现。 我们想要达到的架构是：{a：chararray，{（chararray）}}，例如：（A，{（1），（2）}）

以下是您问题的解决方案：

A = LOAD 'data.txt' AS (a:chararray,b:(b1:chararray,b2:chararray));
B = FOREACH A GENERATE a, TOBAG(b.b1,b.b2);
C = FOREACH B GENERATE a, FLATTEN($1);

神奇的部分是TOBAG操作符。

- FabienB

---

好的！在这种情况下，元组有两个元素（b.b1和b.b2）。如果元组的大小可能会变化，我该怎么办？ - Marquez

我还想知道如何使用可变长度的元组来实现这个。 - Eric Z Beard

你可以编写自己的UDF来实现这个目的。 DataBag bag = BagFactory.getInstance().newDefaultBag(); for (int i = 0; i< inputTuple.size(); i++) { bag.add(TupleFactory.getInstance().newTuple(inputTuple.get(0))); } return bag; - hobgoblin

有点晚了，但是要使用TOKENIZE！（https://pig.apache.org/docs/latest/func.html#tokenize） - Elastic Lamb

Answer 2

你可以使用DataFu的UDF TransposeTupleToBag（http://datafu.incubator.apache.org/docs/datafu/1.1.0/datafu/pig/util/TransposeTupleToBag.html），然后展开这个bag，以便得到每个item的一行。

- Gaurav Phapale

Answer 3

我知道这是一个旧的帖子，但我无法让上述方法起作用。想和大家分享我的发现。

input: (1-2-3, abc)
       (4-5-6, xyz)
desired output:
       (1, abc)
       (2, abc)
       (3, abc)
       (4, xyz)
       (5, xyz)
       (6, xyz)

最初，我使用了STRSPLIT生成一个元组，结果与上述输入类似，但是没有成功。

output = FOREACH input GENERATE FLATTEN(TOBAG(STRSPLIT($0, '-'))), $1

这导致输出为：

 (1,2,3,abc)
 (4,5,6,xyz)

然而，当我使用tokenize和replace函数时，我得到了期望的输出。

output = FOREACH input GENERATE FLATTEN(TOKENIZE(REPLACE($0,'-', ' '))), $1;

- bsam