将 Pandas DataFrame 转换为字典

419

我有一个拥有四列的DataFrame。我想将这个DataFrame转换成Python字典。我希望第一列的元素成为keys,同一行其他列的元素成为values

DataFrame:

    ID   A   B   C
0   p    1   3   2
1   q    4   3   2
2   r    4   0   9 

输出应该像这样:

{'p': [1,3,2], 'q': [4,3,2], 'r': [4,0,9]}

6
Dataframe.to_dict() 是一个 pandas 数据分析库的函数,用于将数据框转换为 Python 字典格式。 - Anzel
20
Dataframe.to_dict()会将A、B、C作为键,而不是p、q、r - Prince Bhatti
@jezrael,如何获得相同数据集的以下输出?{2:{'p':[1,3]},2:{'q':[4,3]},9:{'r':[4,0]}} - panda
@jezrael 上述问题的列等价项是{'c':{'ID': 'A','B'}}。 - panda
这个问题只涉及一个列。https://dev59.com/T2Ml5IYBdhLWcg3wFjoC - S.Doe_Dude
12个回答

710

to_dict() 方法会将 DataFrame 的列名作为字典键,因此需要稍微调整一下 DataFrame 的格式。可以通过将“ID”列设置为索引,然后对 DataFrame 进行转置来实现。

to_dict() 还接受一个“orient”参数,你需要使用它才能为每一列输出一个值的列表。否则,每一列将返回一个形如 {index: value} 的字典。

可以使用以下代码完成这些步骤:

>>> df.set_index('ID').T.to_dict('list')
{'p': [1, 3, 2], 'q': [4, 3, 2], 'r': [4, 0, 9]}
如果需要不同的词典格式,这里提供了可能的方向参数的示例。考虑以下简单的数据框:
>>> df = pd.DataFrame({'a': ['red', 'yellow', 'blue'], 'b': [0.5, 0.25, 0.125]})
>>> df
        a      b
0     red  0.500
1  yellow  0.250
2    blue  0.125

那么选项如下。

dict - 默认值:列名是键,值是索引:数据对的字典。

>>> df.to_dict('dict')
{'a': {0: 'red', 1: 'yellow', 2: 'blue'}, 
 'b': {0: 0.5, 1: 0.25, 2: 0.125}}

列表 - 键是列名,值是列数据的列表

>>> df.to_dict('list')
{'a': ['red', 'yellow', 'blue'], 
 'b': [0.5, 0.25, 0.125]}

Series是一种类似于“list”的数据结构,但其中的值是Series类型的。

>>> df.to_dict('series')
{'a': 0       red
      1    yellow
      2      blue
      Name: a, dtype: object, 

 'b': 0    0.500
      1    0.250
      2    0.125
      Name: b, dtype: float64}

split - 按键将列/数据/索引分割为键,值为列名,数据值按行和索引标签分别表示

>>> df.to_dict('split')
{'columns': ['a', 'b'],
 'data': [['red', 0.5], ['yellow', 0.25], ['blue', 0.125]],
 'index': [0, 1, 2]}

记录 - 每一行都会变成一个字典,其中键是列名称,值是单元格中的数据

>>> df.to_dict('records')
[{'a': 'red', 'b': 0.5}, 
 {'a': 'yellow', 'b': 0.25}, 
 {'a': 'blue', 'b': 0.125}]

index - 类似于“records”,但是是一个字典的字典,以索引标签作为键(而不是列表)

>>> df.to_dict('index')
{0: {'a': 'red', 'b': 0.5},
 1: {'a': 'yellow', 'b': 0.25},
 2: {'a': 'blue', 'b': 0.125}}

30
df.set_index('ID').T.to_dict('list') - Anzel
1
对于数据框中的一条记录。df.T.to_dict()[0] - kamran kausar
2
df.to_dict('records') 是大多数现代软件想要的匹配 json 格式的字典。 - GavinBelson
然而,这里有人需要对“index”方法进行修改,其中字典的值是pd.Series,这意味着只需将数据框拆分为系列的字典即可,可以使用dict(list(df.iterrows()))来实现。祝愉快! - George Pligoropoulos
抱歉,这可能是一个愚蠢的问题,但在分享时(例如,在SE问题中提供摘录),是否有最佳选择?或者是否有选择使用哪个的“最佳实践”?谢谢。 - Abdul-Kareem Abdul-Rahman

167

是否应该有这样一个字典:

{'red': '0.500', 'yellow': '0.250', 'blue': '0.125'}

需要从类似数据框的数据中获取:

        a      b
0     red  0.500
1  yellow  0.250
2    blue  0.125

最简单的方法是这样做:

dict(df.values)
以下是可工作的代码片段:
import pandas as pd
df = pd.DataFrame({'a': ['red', 'yellow', 'blue'], 'b': [0.5, 0.25, 0.125]})
dict(df.values)

13
太好了!不过它只适用于两列数据框。 - Skippy le Grand Gourou

37

请按照以下步骤进行操作:

假设您的数据框如下:

>>> df
   A  B  C ID
0  1  3  2  p
1  4  3  2  q
2  4  0  9  r

1. 使用set_indexID列设置为数据帧的索引。

    df.set_index("ID", drop=True, inplace=True)

2. 使用orient=index参数将索引作为字典键。

    dictionary = df.to_dict(orient="index")

结果将如下:

    >>> dictionary
    {'q': {'A': 4, 'B': 3, 'D': 2}, 'p': {'A': 1, 'B': 3, 'D': 2}, 'r': {'A': 4, 'B': 0, 'D': 9}}

3. 如果需要将每个样本作为列表,请运行以下代码。确定列顺序

column_order= ["A", "B", "C"] #  Determine your preferred order of columns
d = {} #  Initialize the new dictionary as an empty dictionary
for k in dictionary:
    d[k] = [dictionary[k][column_name] for column_name in column_order]

2
对于最后一位,使用字典推导式来替换for循环+列表推导式会更简单(3行->1行)。无论哪种方式,虽然有多种选择很好,但是最佳答案要短得多。 - fantabolous
这个很方便,因为它清楚地解释了如何使用特定的列或标题作为索引。 - Tropicalrambler

33
尝试使用 Zip
df = pd.read_csv("file")
d= dict([(i,[a,b,c ]) for i, a,b,c in zip(df.ID, df.A,df.B,df.C)])
print d

输出:

{'p': [1, 3, 2], 'q': [4, 3, 2], 'r': [4, 0, 9]}

14

如果您不介意字典值是元组,则可以使用itertuples:

>>> {x[0]: x[1:] for x in df.itertuples(index=False)}
{'p': (1, 3, 2), 'q': (4, 3, 2), 'r': (4, 0, 9)}

7

对于我的用途(带有xy位置的节点名称),我发现@user4179775的答案最有帮助/直观:

import pandas as pd

df = pd.read_csv('glycolysis_nodes_xy.tsv', sep='\t')

df.head()
    nodes    x    y
0  c00033  146  958
1  c00031  601  195
...

xy_dict_list=dict([(i,[a,b]) for i, a,b in zip(df.nodes, df.x,df.y)])

xy_dict_list
{'c00022': [483, 868],
 'c00024': [146, 868],
 ... }

xy_dict_tuples=dict([(i,(a,b)) for i, a,b in zip(df.nodes, df.x,df.y)])

xy_dict_tuples
{'c00022': (483, 868),
 'c00024': (146, 868),
 ... }

附言

后来我因为其他相关工作再次回到这个问题。下面是一个更贴近被[优秀的]接受答案的方法。

node_df = pd.read_csv('node_prop-glycolysis_tca-from_pg.tsv', sep='\t')

node_df.head()
   node  kegg_id kegg_cid            name  wt  vis
0  22    22       c00022   pyruvate        1   1
1  24    24       c00024   acetyl-CoA      1   1
...

将Pandas数据框转换为[list],{dict},{dict of {dict}}等

根据被接受的答案:

node_df.set_index('kegg_cid').T.to_dict('list')

{'c00022': [22, 22, 'pyruvate', 1, 1],
 'c00024': [24, 24, 'acetyl-CoA', 1, 1],
 ... }

node_df.set_index('kegg_cid').T.to_dict('dict')

{'c00022': {'kegg_id': 22, 'name': 'pyruvate', 'node': 22, 'vis': 1, 'wt': 1},
 'c00024': {'kegg_id': 24, 'name': 'acetyl-CoA', 'node': 24, 'vis': 1, 'wt': 1},
 ... }

在我的情况下,我希望使用来自Pandas数据框的选定列执行相同的操作,因此需要切片列。 有两种方法。

  1. 直接切片:

(参见:将Pandas转换为字典,定义用于键值的列)

node_df.set_index('kegg_cid')[['name', 'wt', 'vis']].T.to_dict('dict')

{'c00022': {'name': 'pyruvate', 'vis': 1, 'wt': 1},
 'c00024': {'name': 'acetyl-CoA', 'vis': 1, 'wt': 1},
 ... }

"间接方式:" 首先,从 Pandas dataframe 中切取所需列/数据(两种方法),
node_df_sliced = node_df[['kegg_cid', 'name', 'wt', 'vis']]

或者

node_df_sliced2 = node_df.loc[:, ['kegg_cid', 'name', 'wt', 'vis']]

可以用来创建字典的字典。
node_df_sliced.set_index('kegg_cid').T.to_dict('dict')

{'c00022': {'name': 'pyruvate', 'vis': 1, 'wt': 1},
 'c00024': {'name': 'acetyl-CoA', 'vis': 1, 'wt': 1},
 ... }

1
这种方法的问题在于,Dataframe列必须是唯一的,否则它们将被省略。例如,如果您有多行的c00022,就会出现这种情况。 - Graciela Carrillo

4

大多数答案没有涉及ID在数据框中可能存在多次的情况。如果ID在数据框df中可能重复,您需要使用一个列表来存储值(即一个列表的列表),按ID分组:

{k: [g['A'].tolist(), g['B'].tolist(), g['C'].tolist()] for k,g in df.groupby('ID')}

2
字典推导式和iterrows()方法也可以用于获取所需的输出。
result = {row.ID: [row.A, row.B, row.C] for (index, row) in df.iterrows()}

1
df = pd.DataFrame([['p',1,3,2], ['q',4,3,2], ['r',4,0,9]], columns=['ID','A','B','C'])
my_dict = {k:list(v) for k,v in zip(df['ID'], df.drop(columns='ID').values)}
print(my_dict)

带有输出

{'p': [1, 3, 2], 'q': [4, 3, 2], 'r': [4, 0, 9]}

1

如果ID是唯一的

set_index().T.to_dict() 是一个非常简单的语法,但是转置数据框架非常慢。 dict(zip(...)) 语法大约快70倍。例如,对于一个有100万行的框架,dict(zip(...)) 只需要不到0.5秒,而 set_index.T.to_dict 则需要超过30秒。

mydict = dict(zip(df['ID'], df.set_index('ID').values.tolist()))

使用 itertuples 的字典推导式非常快(由 Kamil Sindi 建议),但比 dict(zip(...)) 慢大约 3 倍。

mydict = {x[0]: list(x[1:]) for x in df.itertuples(index=False)}

如果ID重复

itertuples在ID列具有重复值时特别有用。通过itertuples循环遍历数据帧并使用dict.setdefault构建字典比使用groupbyKa Wa Yip建议的方法)或iterrows更快。例如,对于具有100k行和60k个唯一ID的数据帧,itertuplesgroupby快250倍。1

mydict = {}
for row in df.itertuples(index=False):
    mydict.setdefault(row[0], []).append(list(row[1:]))
性能基准:

正如运行时图所示,无论数据框有多大,dict(zip(...)) 和带有dict.setdefaultitertuples都比它们更“pandas”的对应方法快得多。

perfplot

用于生成上述图表的代码:

import numpy as np
from perfplot import plot

plot(
    setup=lambda n: pd.DataFrame({'ID': np.arange(n)}).join(pd.DataFrame(np.random.default_rng().choice(10, size=(n, 3)), columns=[*'ABC'])),
    kernels=[lambda df: dict(zip(df['ID'], df.set_index('ID').values.tolist())), 
             lambda df: df.set_index('ID').T.to_dict('list'), 
             lambda df: {x[0]: list(x[1:]) for x in df.itertuples(index=False)}],
    labels= ["dict(zip(df['ID'], df.set_index('ID').values.tolist()))", 
             "df.set_index('ID').T.to_dict('list')", 
             "{x[0]: list(x[1:]) for x in df.itertuples(index=False)}"],
    n_range=[2**k for k in range(18)],
    xlabel='Number of rows',
    title='Unique IDs',
    equality_check=lambda x,y: x==y);


def itertuples_(df):
    mydict = {}
    for row in df.itertuples(index=False):
        mydict.setdefault(row[0], []).append(list(row[1:]))
    return mydict
        
def groupby_(df):
    return {k: g[['A', 'B', 'C']].values.tolist() for k, g in df.groupby('ID')}

plot(
    setup=lambda n: pd.DataFrame(np.random.default_rng().choice(n, size=(n, 4)), columns=['ID','A','B','C']),
    kernels=[itertuples_, groupby_],
    labels= ["itertuples", "groupby"],
    n_range=[2**k for k in range(17)],
    xlabel="Number of rows",
    title="Duplicated IDs",
    equality_check=lambda x,y: x==y);

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接