logo标签列表

在Pandas的groupby中选择每个组的前n个元素

pythonpandasdataframe
7

我有一个数据框，大致看起来像这样：

>>> data
    price currency    
id                
2    1050       EU
5    1400       EU
4    1750       EU
8    4000       EU
7     630      GBP
1    1000      GBP
9    1400      GBP
3    2000      USD
6    7000      USD

我需要根据另一个数据框中给出的货币和数量，获取每种货币中价格最高的n个产品的新数据框：

>>> select_number
          number_to_select
currency       
GBP         2
EU          2
USD         1

如果我需要选择相同数量的顶级元素，我可以使用 pandas.groupby 按货币分组数据，然后使用分组对象的 head 方法。但是，head 只接受数字，而不是数组或表达式。当然，我可以写一个 for 循环，但这将是一种非常笨拙和低效的方法。有什么好的方法可以做到这一点吗？
请查看此答案：https://dev59.com/-Jbfa4cB1Zd3GeqPqDLZ#36702926 - MaxU - stand with Ukraine
@MaxU，这个答案是否涵盖了可变数量的顶部项目？ - IanS
@IanS，你是对的，我已经添加了一个答案。 - MaxU - stand with Ukraine
3个回答
11
您可以使用: 

data = pd.DataFrame({'id': {0: 2, 1: 5, 2: 4, 3: 8, 4: 7, 5: 1, 6: 9, 7: 3, 8: 6}, 'price': {0: 1050, 1: 1400, 2: 1750, 3: 4000, 4: 630, 5: 1000, 6: 1400, 7: 2000, 8: 7000}, 'currency': {0: 'EU', 1: 'EU', 2: 'EU', 3: 'EU', 4: 'GBP', 5: 'GBP', 6: 'GBP', 7: 'USD', 8: 'USD'}})
select_number = pd.DataFrame({'number_to_select': {'USD': 1, 'GBP': 2, 'EU': 2}})


print (data)
  currency  id  price
0       EU   2   1050
1       EU   5   1400
2       EU   4   1750
3       EU   8   4000
4      GBP   7    630
5      GBP   1   1000
6      GBP   9   1400
7      USD   3   2000
8      USD   6   7000

print (select_number)
     number_to_select
EU                  2
GBP                 2
USD                 1

使用dict进行映射的解决方案：

d = select_number.to_dict()
d1 = d['number_to_select']
print (d1)
{'USD': 1, 'EU': 2, 'GBP': 2}

print (data.groupby('currency').apply(lambda dfg: dfg.nlargest(d1[dfg.name],'price'))
           .reset_index(drop=True))

  currency  id  price
0       EU   8   4000
1       EU   4   1750
2      GBP   9   1400
3      GBP   1   1000
4      USD   6   7000

解决方案2：

print (data.groupby('currency')
           .apply(lambda dfg: (dfg.nlargest(select_number
                                   .loc[dfg.name, 'number_to_select'], 'price')))
           .reset_index(drop=True))

   id  price currency
0   8   4000       EU
1   4   1750       EU
2   9   1400      GBP
3   1   1000      GBP
4   6   7000      USD

解释:

我认为在调试时最好使用带有print的函数f:

def f(dfg):
    #dfg is DataFrame 
    print (dfg)
    #name of group
    print (dfg.name)
    #select value from select_number  
    print (select_number.loc[dfg.name, 'number_to_select']) 
    #return top rows per groups 
    print (dfg.nlargest(select_number.loc[dfg.name, 'number_to_select'], 'price'))
    return (dfg.nlargest(select_number.loc[dfg.name, 'number_to_select'], 'price'))

print (data.groupby('currency').apply(f))


  currency  id  price
0       EU   2   1050
1       EU   5   1400
2       EU   4   1750
3       EU   8   4000
  currency  id  price
0       EU   2   1050
1       EU   5   1400
2       EU   4   1750
3       EU   8   4000
EU
2
  currency  id  price
3       EU   8   4000
2       EU   4   1750
  currency  id  price
4      GBP   7    630
5      GBP   1   1000
6      GBP   9   1400
GBP
2
  currency  id  price
6      GBP   9   1400
5      GBP   1   1000
  currency  id  price
7      USD   3   2000
8      USD   6   7000
USD
1
  currency  id  price
8      USD   6   7000

           currency  id  price
currency                      
EU       3       EU   8   4000
         2       EU   4   1750
GBP      6      GBP   9   1400
         5      GBP   1   1000
USD      8      USD   6   7000
3

这里有一个解决方案：

select_number = select_number['number_to_select']  # easier to select from series

df.groupby('currency').apply(
    lambda dfg: dfg.nlargest(select_number[dfg.name], columns='price')
)

编辑 - 我从jezrael的答案中得到了我的答案：我用dfg.name替换了dfg.currency.iloc[0]。

第二次编辑 - 如评论所指出，select_number是一个数据框，因此我首先将其转换为系列。

MaxU和jezrael，感谢您的评论！

尝试对数据框进行洗牌 (df = df.sample(len(df))) 并执行你的查询。我猜你需要先对数据框进行排序。 - MaxU - stand with Ukraine
@MaxU 谢谢，我添加了 nlargest，我相信这比对所有内容进行排序更有效。 - IanS
对我来说，它返回KeyError：'EU'。你能检查一下吗？我不知道为什么，但还是同样的错误（我也测试了dfg.name）。 - jezrael
你使用的Pandas版本是什么？我使用的是0.18.0。 - MaxU - stand with Ukraine
1
这是团队的答案 :) - jezrael
显示剩余3条评论
1
你可以这样做：

你可以这样做：

df['rn'] = (df.sort_values(['price'], ascending=False)
              .groupby('currency').cumcount() + 1
)

qry = (select_number
       .reset_index()
       .astype(str)
       .apply(lambda x: '((currency=="{0[0]}") & (rn<={0[1]}))'.format(x), axis=1)
       .str.cat(sep=' | ')
)

print(df.query(qry))

输出

In [147]: df.query(qry)
Out[147]:
    price currency  rn
id
4    1750       EU   2
8    4000       EU   1
1    1000      GBP   2
9    1400      GBP   1
6    7000      USD   1

解释：

rn - 是一个辅助列 - 每个分区/组的行号，按price（在该组内）降序排序

qry - 是动态生成的查询

In [149]: qry
Out[149]: '((currency=="EU") & (rn<=2)) | ((currency=="GBP") & (rn<=2)) | ((currency=="USD") & (rn<=1))'
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接