在pandas数据框中使用多级索引连接数据框

Question

我有两个数据框 df1 和 df2:

In [56]: df1.head()
Out[56]: 
                     col7                col8                col9          
                   alpha0        D0    alpha0        D0    alpha0        D0
F35_HC_531d.dat  1.103999  1.103999  1.364399  1.358938  3.171808  1.946894
F35_HC_532d.dat  0.000000  0.000000  1.636934  1.635594  4.359431  2.362530
F35_HC_533d.dat  0.826599  0.826599  1.463956  1.390134  3.860629  2.199387
F35_HC_534d.dat  1.055350  1.020555  3.112200  2.498257  3.394307  2.090668
F52_HC_472d.dat  3.808008  2.912733  3.594062  2.336720  3.027449  2.216112

In [62]: df2.head()
Out[62]: 
                   col7           col8              col9       
                 alpha1 alpha2  alpha1    alpha2  alpha1 alpha2
filename                                                       
F35_HC_532d.dat  1.0850  2.413  0.7914  6.072000  0.8418  5.328
M48_HC_551d.dat  0.7029  4.713  0.7309  2.922000  0.7823  3.546
M24_HC_458d.dat  0.7207  5.850  0.6772  5.699000  0.7135  5.620
M48_HC_552d.dat  0.7179  4.783  0.6481  4.131999  0.7010  3.408
M40_HC_506d.dat  0.7602  2.912  0.8420  5.690000  0.8354  1.910

我想将这两个数据框连接起来。请注意，外部列名对于两个数据框都是相同的，因此我只想在一个新的数据框中看到4个子列。我尝试使用concat函数：

df = pd.concat([df1, df2], axis = 1, levels = 0)

但这会产生一个数据框，其中从 col7 到 col9 的列名会重复出现两次（因此数据框有 6 个外部列）。如何将所有列放在第一级下相同的外部列名下？

- Peaceful

Answer 1

您可以使用sort_index对列进行排序：

df = pd.concat([df1, df2], axis = 1, levels=0).sort_index(axis=1)
print (df)
                     col7                               col8            \
                       D0    alpha0  alpha1 alpha2        D0    alpha0   
F35_HC_531d.dat  1.103999  1.103999     NaN    NaN  1.358938  1.364399   
F35_HC_532d.dat  0.000000  0.000000  1.0850  2.413  1.635594  1.636934   
F35_HC_533d.dat  0.826599  0.826599     NaN    NaN  1.390134  1.463956   
F35_HC_534d.dat  1.020555  1.055350     NaN    NaN  2.498257  3.112200   
F52_HC_472d.dat  2.912733  3.808008     NaN    NaN  2.336720  3.594062   
M24_HC_458d.dat       NaN       NaN  0.7207  5.850       NaN       NaN   
M40_HC_506d.dat       NaN       NaN  0.7602  2.912       NaN       NaN   
M48_HC_551d.dat       NaN       NaN  0.7029  4.713       NaN       NaN   
M48_HC_552d.dat       NaN       NaN  0.7179  4.783       NaN       NaN   

                                       col9                           
                 alpha1    alpha2        D0    alpha0  alpha1 alpha2  
F35_HC_531d.dat     NaN       NaN  1.946894  3.171808     NaN    NaN  
F35_HC_532d.dat  0.7914  6.072000  2.362530  4.359431  0.8418  5.328  
F35_HC_533d.dat     NaN       NaN  2.199387  3.860629     NaN    NaN  
F35_HC_534d.dat     NaN       NaN  2.090668  3.394307     NaN    NaN  
F52_HC_472d.dat     NaN       NaN  2.216112  3.027449     NaN    NaN  
M24_HC_458d.dat  0.6772  5.699000       NaN       NaN  0.7135  5.620  
M40_HC_506d.dat  0.8420  5.690000       NaN       NaN  0.8354  1.910  
M48_HC_551d.dat  0.7309  2.922000       NaN       NaN  0.7823  3.546  
M48_HC_552d.dat  0.6481  4.131999       NaN       NaN  0.7010  3.408  

- jezrael

---

太好了！您能详细解释一下这个是如何工作的吗？ - Peaceful

Answer 2

您可以使用参数为how='outer'的join函数。

df1.join(df2, how='outer').sort_index(1)

- piRSquared

---

不错！我不明白的是为什么 sort_index 会去掉重复的列名。有什么评论吗？ - Peaceful

@Peaceful，它们仍然存在。当您在索引的较早级别中具有连续值时，您的pandas选择合并表格列以美观为原因。 - piRSquared

但是为什么sort_index会这样做呢？或者这是否普遍适用？例如，如果有一个名为merge_repeated_columns的函数，那就可以理解了。我是否忽略了一些显而易见的东西？ - Peaceful

@Peaceful 如果没有排序，那么您不会将所有相同第一级的列放在一起。然后您必须显示每个列标题，因为这样做没有直观的意义。只有在排序之后，您才能使其看起来很漂亮。 - piRSquared

Answer 3

就像@jezreal所说的那样。然而，pd.concat()已经更新，现在你需要省略levels=0关键字。

df = pd.concat([df1, df2], axis = 1).sort_index(axis=1)

- Nicoleue