我是hadopp streaming的新手,我的reduce代码中有几个过滤条件,我想知道有多少记录通过了这些条件。我得知可以通过编写自定义计数器来实现此功能。请问有人可以指导我如何编写自定义计数器吗?
在mapper代码中,我输出了三列,比如说 a,b,c
,键是a,值是列表,类似于 [b,c]
,为了举一个mapper代码的例子,它看起来像 ['I' ^ ['C','P']]
以下是我的reduce代码。
labels = ["a","b"]
for line in sys.stdin:
l = line.strip().split("^")
key = l[0]
value = l[1]
record = [key] + value
records.append(record)
df = pd.DataFrame.from_records(records,columns=labels)
df = df((df['a'] == 'I') & (df['b'] == 'C'))
我想知道在reducer层面,df包含多少条记录。
谢谢。