从包含数据列表的字典列表创建pandas数据框架

Question

我有一个具有以下结构的字典列表。

    {
        'data' : [[year1, value1], [year2, value2], ... m entries],
        'description' : string,
        'end' : string,
        'f' : string,
        'lastHistoricalperiod' : string, 
        'name' : string,
        'series_id' : string,
        'start' : int,
        'units' : string,
        'unitsshort' : string,
        'updated' : string
    }

我想把这个放到一个类似于pandas DataFrame的表中，格式如下：

   year       value  updated                   (other dict keys ... )
0  2040  120.592468  2014-05-23T12:06:16-0400  other key-values
1  2039  120.189987  2014-05-23T12:06:16-0400  ...
2  other year-value pairs ...
...
n

n = m * len（包含字典的列表）（其中'data'中每个列表的长度= m）

也就是说，'data'中的每个元组都应该有自己的行。目前为止我所做的是：

x = [list of dictionaries as described above]
# Create Empty Data Frame
output = pd.DataFrame()

    # Loop through each dictionary in the list
    for dictionary in x:
        # Create a new DataFrame from the 2-D list alone.
        data = dictionary['data']
        y = pd.DataFrame(data, columns = ['year', 'value'])
        # Loop through all the other dictionary key-value pairs and fill in values
        for key in dictionary:
            if key != 'data':
                y[key] = dictionary[key]
        # Concatenate most recent output with the dframe from this dictionary.
        output = pd.concat([output_frame, y], ignore_index = True)

这种方法看起来非常hacky，我想知道是否有更加“pythonic”的方法来实现这个，或者至少是否有任何明显的优化空间。

- Thtu

Answer 1

如果您的数据以[{},{},...]的形式存在，您可以执行以下操作...

您的数据问题在于字典的数据键。

df = pd.DataFrame(data)
fix = df.groupby(level=0)['data'].apply(lambda x:pd.DataFrame(x.iloc[0],columns = ['Year','Value']))
fix = fix.reset_index(level=1,drop=True)
df = pd.merge(fix,df.drop(['data'],1),how='inner',left_index=True,right_index=True)

以下是代码的步骤...

1. 使用字典列表创建DataFrame
2. 将数据列拉伸成更多行，创建一个新的dataframe
3. 由于伸缩代码导致了一个无关紧要的列的多级索引 - 这将其删除掉
4. 最后在原始索引上合并，并获得所需的DataFrame

- ZJS

---

我非常喜欢这个解决方案。由于一切都始于数据框架，因此很少有机会修改代码以将每个“数据”列表与其他标题信息分离。 - Thtu

Answer 2

回答这个问题时，一些数据会很有帮助。然而，根据您的数据结构，一些示例数据可能如下：

dict_list = [{'data'            : [['1999', 1], ['2000', 2], ['2001', 3]],
              'description'     : 'foo_dictionary',
              'end'             : 'foo1',
              'f'               : 'foo2',},
             {'data'            : [['2002', 4], ['2003', 5]],
              'description'     : 'bar_dictionary',
              'end'             : 'bar1',
              'f'               : 'bar2',}
             ]

我的建议是将这些数据操作和重塑成一个新的字典，然后将该字典直接传递给DataFrame构造函数。为了将字典传递给pd.DataFrame构造函数，您可以非常简单地将数据重塑为一个新的字典，如下所示：

data_dict = {'years'        : [],
             'value'        : [],
             'description'  : [],
             'end'          : [],
             'f'            : [],}

for dictionary in dict_list:
    data_dict['years'].extend([elem[0] for elem in dictionary['data']])
    data_dict['value'].extend([elem[1] for elem in dictionary['data']])
    data_dict['description'].extend(dictionary['description'] for x in xrange(len(dictionary['data'])))
    data_dict['end'].extend(dictionary['end'] for x in xrange(len(dictionary['data'])))
    data_dict['f'].extend(dictionary['f'] for x in xrange(len(dictionary['data'])))

然后将其传递给pandas即可

import pandas as pd
pd.DataFrame(data_dict)

这给了我以下输出：

      description   end     f  value years
0  foo_dictionary  foo1  foo2      1  1999
1  foo_dictionary  foo1  foo2      2  2000
2  foo_dictionary  foo1  foo2      3  2001
3  bar_dictionary  bar1  bar2      4  2002
4  bar_dictionary  bar1  bar2      5  2003

我认为，如果这是你想要的输出类型，那么这个系统将是一个不错的简化。

事实上，你甚至可以通过创建一个年份:值的字典和其他值的字典来进一步简化它。然后你就不需要手动输入新的字典了，而且可以运行一个嵌套的for循环。代码可能如下所示：

year_val_dict = {'years'        : [],
                 'value'        : []}
other_val_dict = {_key : [] for _key in dict_list[0] if _key!='data'}

for dictionary in dict_list:
    year_val_dict['years'].extend([elem[0] for elem in dictionary['data']])
    year_val_dict['value'].extend([elem[1] for elem in dictionary['data']])
    for _key in other_val_dict:
        other_val_dict[_key].extend(dictionary[_key] for x in xrange(len(dictionary['data'])))

year_val_dict.update(other_val_dict)
pd.DataFrame(year_val_dict)

注意，这当然是假设 dict_list 中的所有字典具有相同的结构...

- Woody Pride