logo标签列表

从Pandas DataFrame创建复杂嵌套字典

pythonpandasdictionarydataframenested
5

我正在尝试找到一种通用的方法，从一个扁平的 Pandas DataFrame 实例创建（可能是深层的）嵌套字典。

假设我有以下的DataFrame：

dat = pd.DataFrame({'name' : ['John', 'John', 'John', 'John', 'Henry', 'Henry'],
                    'age' : [24, 24, 24, 24, 31, 31],
                    'gender' : ['Male','Male','Male','Male','Male','Male'],
                    'study' : ['Mathematics', 'Mathematics', 'Mathematics', 'Philosophy', 'Physics', 'Physics'],
                    'course' : ['Calculus 101', 'Calculus 101', 'Calculus 102', 'Aristotelean Ethics', 'Quantum mechanics', 'Quantum mechanics'],
                    'test' : ['Exam', 'Essay','Exam','Essay', 'Exam1','Exam2'],
                    'pass' : [True, True, True, True, True, True],
                    'grade' : ['A', 'A', 'B', 'A', 'C', 'C']})
dat = dat[['name', 'age', 'gender', 'study', 'course', 'test', 'grade', 'pass']] #re-order columns to better reflect data structure

我想创建一个深度嵌套的字典（或嵌套字典列表），以“尊重”数据的基础结构。也就是说，成绩是关于测试的信息，而测试又是课程的一部分，课程又是研究的一部分，而这些研究是人所做的。此外，年龄和性别是有关同一人的信息。
一个期望的输出示例如下：
[{'John': {'age': 24,
           'gender': 'Male',
           'study': {'Mathematics': {'Calculus 101': {'Exam': {'grade': 'B',
                                                               'pass': True}}},
                     'Philosophy': {'Aristotelean Ethics': {'Essay': {'grade': 'A',
                                                                      'pass': True}}}}}},
 {'Henry': {'age': 31,
            'gender': 'Male',
            'study': {'Physics': {'Quantum mechanics': {'Exam1': {'Grade': 'C',
                                                                  'Pass': True},
                                                        'Exam2': {'Grade': 'C',
                                                                  'Pass': True}}}}}}]

（虽然可能有其他类似的方法来组织这样的数据）。
我尝试使用groupby，例如将'grade'和'pass'嵌套在'test'下面，将'test'嵌套在'course'下面，将'course'嵌套在'study'下面，将'study'嵌套在'name'下面，这样很容易实现。但是，我不知道如何将'gender'和'age'也添加到'name'下面？以下是我能想出的最好方案：
dic = {}
for ind, row in dat.groupby(['name', 'study', 'course', 'test'])['grade', 'pass']:

    #this is ugly and not very generic, but just as an example
    if not ind[0] in dic:
        dic[ind[0]] = {}
    if not ind[1] in dic[ind[0]]:
        dic[ind[0]][ind[1]] = {}
    if not ind[2] in dic[ind[0]][ind[1]]:
        dic[ind[0]][ind[1]][ind[2]] = {}
    if not ind[3] in dic[ind[0]][ind[1]][ind[2]]:
        dic[ind[0]][ind[1]][ind[2]][ind[3]] = {}

    dic[ind[0]][ind[1]][ind[2]][ind[3]]['grade'] = row['grade'].values[0]
    dic[ind[0]][ind[1]][ind[2]][ind[3]]['pass'] = row['pass'].values[0]

但在这种情况下，“年龄”和“性别”不是嵌套在“姓名”下面。 我似乎无法想到如何解决这个问题...
另一种选择是设置MultiIndex并进行.to_dict('index')调用。 但我仍然看不到如何将两个dicts和非dicts嵌套在单个键下...
我的问题类似于这个问题： 将pandas DataFrame转换为嵌套字典，但我正在寻找更复杂的嵌套（例如，并不只是最后一列应该嵌套在所有其他列下面）。 Stackoverflow上的大多数其他问题都要求反向操作：从深度嵌套的字典创建（可能是MultiIndex）DataFrame。

编辑：该问题与此问题类似：Pandas将Dataframe转换为嵌套Json，但在那个问题中，只有最后一列（例如，列n）应嵌套在所有其他列（n-1，n-2等；完全递归嵌套）下。 在我的问题中，列n和n-1应嵌套在n-2下，但是列n-2和n-3应嵌套在n-4下（因此，重要的是n-2不是嵌套在n-3下而是嵌套在n-4下）。Mohammad Yusuf Ghazi提供的MultiIndex部分解决方案很好地描述了这种结构。

可能是Pandas将Dataframe转换为嵌套Json的重复问题。 - jeremycg
2个回答
2

虽然不是非常简洁，但目前这是我能得到的最好的:

>>> def rollup1(x):
...     return x.set_index('test')[['grade', 'pass']].to_dict(orient='index')
>>> def rollup2(x):
...     return x.groupby('course').apply(rollup1).to_dict()
>>> def rollup3(x):
...     return x.groupby('study').apply(rollup2).to_dict()

>>> df = dat.groupby(['name','age','gender']).apply(rollup3)
>>> df.name = 'study'
>>> res = df.reset_index(level=[1,2]).to_dict(orient='index')
>>> pprint.pprint(res)
{'Henry': {'age': 31L,
           'gender': 'Male',
           'study': {'Physics': {'Quantum mechanics': {'Exam1': {'grade': 'C',
                                                                 'pass': True},
                                                       'Exam2': {'grade': 'C',
                                                                 'pass': True}}}}},
 'John': {'age': 24L,
          'gender': 'Male',
          'study': {'Mathematics': {'Calculus 101': {'Essay': {'grade': 'A',
                                                               'pass': True},
                                                     'Exam': {'grade': 'A',
                                                              'pass': True}},
                                    'Calculus 102': {'Exam': {'grade': 'B',
                                                              'pass': True}}},
                    'Philosophy': {'Aristotelean Ethics': {'Essay': {'grade': 'A',
                                                                     'pass': True}}}}}}

这个想法是在对数据进行分组以获取“学习”列的同时将数据滚动到字典中。

更新 我尝试创建更通用的解决方案，因此它也适用于像这个问题这样的问题：

def rollup_to_dict_core(x, values, columns, d_columns=None):
    if d_columns is None:
        d_columns = []

    if len(columns) == 1:
        if len(values) == 1:
            return x.set_index(columns)[values[0]].to_dict()
        else:
            return x.set_index(columns)[values].to_dict(orient='index')
    else:
        res = x.groupby([columns[0]] + d_columns).apply(lambda y: rollup_to_dict_core(y, values, columns[1:]))
        if len(d_columns) == 0:
            return res.to_dict()
        else:
            res.name = columns[1]
            res = res.reset_index(level=range(1, len(d_columns) + 1))
            return res.to_dict(orient='index')

def rollup_to_dict(x, values, d_columns=None):
    if d_columns is None:
        d_columns = []

    columns = [c for c in x.columns if c not in values and c not in d_columns]
    return rollup_to_dict_core(x, values, columns, d_columns)

>>> pprint(rollup_to_dict(dat, ['pass', 'grade'], ['age','gender']))
{'Henry': {'age': 31L,
           'gender': 'Male',
           'study': {'Physics': {'Quantum mechanics': {'Exam1': {'grade': 'C',
                                                                 'pass': True},
                                                       'Exam2': {'grade': 'C',
                                                                 'pass': True}}}}},
 'John': {'age': 24L,
          'gender': 'Male',
          'study': {'Mathematics': {'Calculus 101': {'Essay': {'grade': 'A',
                                                               'pass': True},
                                                     'Exam': {'grade': 'A',
                                                              'pass': True}},
                                    'Calculus 102': {'Exam': {'grade': 'B',
                                                              'pass': True}}},
                    'Philosophy': {'Aristotelean Ethics': {'Essay': {'grade': 'A',
                                                                     'pass': True}}}}}}
谢谢您的建议！虽然不是我期望中的那么“漂亮”，但对于帮助我理解问题非常有帮助。 - SMOP
@SMOP 稍等，我很快会发布通用版本。 - Roman Pekar
或者您忘记传递依赖列了吗？ - Roman Pekar
这个可以运行：pprint(rollup_to_dict(df, ['pass', 'grade'], ['name', 'study', 'course','test'], ['age', 'gender'])) 太棒了。 - Mohammad Yusuf
让我们在聊天中继续这个讨论。 - Roman Pekar
显示剩余7条评论
0

这是部分答案。我不知道如何将索引转换为 JSON。

df = pd.DataFrame({'name' : ['John', 'John', 'John', 'John', 'Henry', 'Henry'],
                    'age' : [24, 24, 24, 24, 31, 31],
                    'gender' : ['Male','Male','Male','Male','Male','Male'],
                    'study' : ['Mathematics', 'Mathematics', 'Mathematics', 'Philosophy', 'Physics', 'Physics'],
                    'course' : ['Calculus 101', 'Calculus 101', 'Calculus 102', 'Aristotelean Ethics', 'Quantum mechanics', 'Quantum mechanics'],
                    'test' : ['Exam', 'Essay','Exam','Essay', 'Exam1','Exam2'],
                    'pass' : [True, True, True, True, True, True],
                    'grade' : ['A', 'A', 'B', 'A', 'C', 'C']})
df.set_index(keys=['name','age','gender', 'study','course','test','grade','pass'], inplace=True)
df

输出：

enter image description here

使用 json.dumps(df.index)（不要忘记导入simplejson as json） - Celebrian
谢谢您的建议。我也找到了这个部分解决方案，非常好地展示了我想在字典中看到的数据结构。但是，当使用json.dumps(df.index)时，我遇到了一个序列化错误（使用simplejson）： TypeError: MultiIndex(...)无法进行JSON序列化。 - SMOP
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接