Pandas - 列扩展字典列表 - 如何优化？

Question

Pandas - 列扩展字典列表 - 如何优化？

3

我有一个数据框 test，包含3列 id, name, value 和列 test['values']。下面是 test 的部分样例：

    name                  values
0   impressions           [{'value': 17686, 'end_time': '2018-06-12T07:0...
1   reach                 [{'value': 6294, 'end_time': '2018-06-12T07:00...
2   follower_count        [{'value': 130, 'end_time': '2018-06-12T07:00:...
3   email_contacts        [{'value': 1, 'end_time': '2018-06-12T07:00:00...
4   phone_call_clicks     [{'value': 0, 'end_time': '2018-06-12T07:00:00...
5   text_message_clicks   [{'value': 0, 'end_time': '2018-06-12T07:00:00...
6   get_directions_clicks [{'value': 0, 'end_time': '2018-06

测试值单元格看起来像这样：

[{'end_time': '2018-06-12T07:00:00+0000', 'value': 17686},
 {'end_time': '2018-06-13T07:00:00+0000', 'value': 4064}]

我可以通过以下方式扩展它：

test[['Values 1', 'Values 2']] = test['values'].apply(pd.Series)
test[['Date 1', 'Values 1']] = test['Values 1'].apply(pd.Series)
test[['Date 2', 'Values 2']] = test['Values 2'].apply(pd.Series)
test.drop(['values'], axis=1, inplace=True)

结果大致如下：

id                          name        Values 1    Values 2    Date 1  Date 2
/insights/impressions/day   impressions 17686   4064    2018-06-12T07:00:00+0000    2018-06-13T07:00:00+0000
/insights/reach/day reach   6294    2085    2018-06-12T07:00:00+0000    2018-06-13T07:00:00+0000
/insights/follower_count/day    follower_count  130 37  2018-06-12T07:00:00+0000    2018-06-13T07:00:00+0000

我想知道： a. 是否有更快的方法来扩展字典列表。 b. 是否有一种方法可以将数据旋转，使值 1 和值 2 在一列中。日期 1 和日期 2 在另一列中。

- Matt M

2个回答

3

您可以使用两个apply和stack（加上set_index，reset_index）同时创建列值和结束时间：

(test.set_index('name')['values']
       .apply(pd.Series).stack()
         .apply(pd.Series).reset_index().drop('level_1',1))

输出结果如下：

          name                  end_time  value
0  impressions  2018-06-12T07:00:00+0000  17686
1  impressions  2018-06-13T07:00:00+0000   4064

- Ben.T

1

谢谢Ben，它也完美地运行了！感谢你的帮助。 - Matt M

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- jezrael · Accepted Answer

如果输入数据是json格式的，最好使用 json_normalize。

j = [{'description': 'Total number 1', 'id': 'a', 'name': 'impressions', 'period': 'day', 'title': 'Impressions', 'values': [{'end_time': '2018-06-12T07:00:00+0000', 'value': 17686}, {'end_time': '2018-06-13T07:00:00+0000', 'value': 4064}]},
      {'description': 'fn', 'id': 'b', 'name': 'impressions', 'period': 'day', 'title': 'Impressions', 'values': [{'end_time': '2018-06-12T07:00:00+0000', 'value': 17686}, {'end_time': '2018-06-13T07:00:00+0000', 'value': 4064}]}]

from pandas.io.json import json_normalize

df = json_normalize(j, 'values')
print (df)
                   end_time  value
0  2018-06-12T07:00:00+0000  17686
1  2018-06-13T07:00:00+0000   4064
2  2018-06-12T07:00:00+0000  17686
3  2018-06-13T07:00:00+0000   4064

但是如果需要添加原始列：

from pandas.io.json import json_normalize


df = json_normalize(j, 'values', ['description', 'id', 'name', 'period', 'title'])
print (df)
                   end_time  value     description id         name period  \
0  2018-06-12T07:00:00+0000  17686  Total number 1  a  impressions    day   
1  2018-06-13T07:00:00+0000   4064  Total number 1  a  impressions    day   
2  2018-06-12T07:00:00+0000  17686              fn  b  impressions    day   
3  2018-06-13T07:00:00+0000   4064              fn  b  impressions    day   

         title  
0  Impressions  
1  Impressions  
2  Impressions  
3  Impressions

第一种解决方案：

test = pd.DataFrame({
    'name':['a', 'b', 'n'],
    'values':[[{'end_time': '2018-06-12T07:00:00+0000', 'value': 17686},
 {'end_time': '2018-06-13T07:00:00+0000', 'value': 4064}],[{'end_time': '2018-06-12T07:00:00+0000', 'value': 17686},
 {'end_time': '2018-06-13T07:00:00+0000', 'value': 4064}],[{'end_time': '2018-06-12T07:00:00+0000', 'value': 17686},
 {'end_time': '2018-06-13T07:00:00+0000', 'value': 4064}]]
})


df =  (pd.concat([pd.DataFrame(x) for x in test['values']], axis=1, keys=(1, 2))
        .stack(0)
        .reset_index(level=1, drop=True))
print (df)
                   end_time  value
0  2018-06-12T07:00:00+0000  17686
0  2018-06-12T07:00:00+0000  17686
1  2018-06-13T07:00:00+0000   4064
1  2018-06-13T07:00:00+0000   4064

df = test.join(df)
print (df)
  name                                             values  \
0    a  [{'end_time': '2018-06-12T07:00:00+0000', 'val...   
0    a  [{'end_time': '2018-06-12T07:00:00+0000', 'val...   
1    b  [{'end_time': '2018-06-12T07:00:00+0000', 'val...   
1    b  [{'end_time': '2018-06-12T07:00:00+0000', 'val...   
2    n  [{'end_time': '2018-06-12T07:00:00+0000', 'val...   

                   end_time    value  
0  2018-06-12T07:00:00+0000  17686.0  
0  2018-06-12T07:00:00+0000  17686.0  
1  2018-06-13T07:00:00+0000   4064.0  
1  2018-06-13T07:00:00+0000   4064.0  
2                       NaN      NaN