如何基于列名将数据框拆分为多个数据框

Question

我的数据框如下所示：

 _dict = {'t_head': ['H1', 'H2', 'H3', 'H4', 'H5','H6'], 
            'r_head': ['Revenue', 'Revenue', 'Income', 'Income', 'Cash', 'Expenses'], 
            '3ME__ Q219': [159.9, '', 45.6, '', '', ''], 
            '3ME__ Q218': [112.3, '', 27.2, '', '', ''], 
            '3ME__ Q119': [121.0, '', 23.1, '', '', ''], 
            '3ME__ Q18': [85.7, '', 15.3, '', '', ''], 
            '3ME__ Q418': [160.5, '', 51.1, '', '', ''], 
            '9ME__ Q417': [102.6, '', 24.2, '', '', ''], 
            '9ME__ Q318': [118.8, '', 30.2, '', '', ''], 
            '9ME__ Q317': [79.4, '', 15.3, '', '', ''], 
            '6ME__ Q219': ['', 280.9, '', 68.7, '', ''], 
            '6ME__ Q218': ['', 198.0, '', 42.6, '', ''], 
            'Q219': ['', '', '', '', 1305, 1239], 
            'Q418': ['', '', '', '', 2072, 1117]
            }
df = pd.DataFrame.from_dict(_dict)
print(df)  

  t_head    r_head 3ME__ Q219 3ME__ Q218 3ME__ Q119 3ME__ Q18 3ME__ Q418 9ME__ Q417 9ME__ Q318 9ME__ Q317 6ME__ Q219 6ME__ Q218  Q219  Q418
0     H1   Revenue      159.9      112.3        121      85.7      160.5      102.6      118.8       79.4                                  
1     H2   Revenue                                                                                             280.9        198            
2     H3    Income       45.6       27.2       23.1      15.3       51.1       24.2       30.2       15.3                                  
3     H4    Income                                                                                              68.7       42.6            
4     H5      Cash                                                                                                               1305  2072
5     H6  Expenses                                                                                                               1239  1117

我想根据列标题将这个数据框拆分成多个数据框。这里的列标题可以以3ME__，6ME__，9ME__（所有/任意/无）或其他值开头。我希望所有以3ME__开头的列都在一个数据框中，6ME__在另一个数据框中...等等，并且所有其余列都在第四个数据框中。
以下是我尝试过的方法：

df1 = df.filter(regex='3ME__')
if not df1.empty:
    df1 = df1[df1.iloc[:,0].astype(bool)]
df2 = df.filter(regex='6ME__')
if not df2.empty:
    df2 = df2[df2.iloc[:,0].astype(bool)]
df3 = df.filter(regex='9ME__')
if not df3.empty:
    df3 = df3[df3.iloc[:,0].astype(bool)]

我能够筛选以3ME__、6ME__ 和 9ME__ 开头的列名并将它们放到不同的数据框中，但无法将其余列标题放入一个数据框中。

1.) 如何将其余列标题放入一个数据框中？
2.) 有没有更简单的方法将其分割成带有键和数据框作为值的字典？

请帮忙。

- Shijith

---

你尝试过使用 loc 明确命名要存储到新数据框中的列吗？ - Joe

我无法重命名列，因为数据框是网络爬虫的输出。 - Shijith

不，我的意思是 new_df = df[['3ME__ Q219', '3ME__ Q218' .... '3ME__ Q21n']]。 - Joe

如果列名不固定，而你只想检查一个类似于“3ME”的“关键词”，那么请将你的df列名存储到一个列表中，并对每个条目进行拆分，然后将其存储到新列表中，其中返回了真或假的名称，然后使用这些列表通过它们在df.columns中的索引来引用回你的df。 - Joe

@Joe，由于这是一个网络爬虫的输出，我不知道数据框的标题是什么。数据框可能包含以“3ME__”、“6ME__”等开头的列标头，也可能不包含。 - Shijith

Answer 1

我会执行以下操作：

m=df.set_index(['t_head','r_head']) #set the 2 columns as index

然后在轴1上拆分列并进行分组，并使用每个组创建一个字典。

d={f'df_{i}': g for i, g in m.groupby(m.columns.str.split('_').str[0],axis=1)}

然后调用每个键来访问这个字典：

print(d['df_3ME'])

根据进一步的讨论，我们进行相同的操作，但加入了一个条件：

cond=df.columns.str.contains('__') #check if cols have double _
d={f'df_{i}':g for i, g in 
   df.loc[:,cond].groupby(df.loc[:,cond].columns.str.split('__').str[0],axis=1)}
d.update({'Misc':df.loc[:,~cond]}) #update the dict with all that doesnt meet condition
print(d['df_3ME'])

---

  3ME__ Q219 3ME__ Q218 3ME__ Q119 3ME__ Q18 3ME__ Q418
0      159.9      112.3        121      85.7      160.5
1                                                      
2       45.6       27.2       23.1      15.3       51.1
3                                                      
4                                                      
5              

---

print(d['Misc'])

  t_head    r_head  Q219  Q418
0     H1   Revenue            
1     H2   Revenue            
2     H3    Income            
3     H4    Income            
4     H5      Cash  1305  2072
5     H6  Expenses  1239  1117

- anky

---

@Shijith 将所有这样的列设置为索引，然后尝试此方法。你有多少这样的列？ - anky

我不确定这个数据框会包含什么，我期望一个包括t_head、r_head和一些值的数据框（不知道是什么值 - 可能会有所不同）。 - Shijith

@Shijith 那么你打算根据什么将它们分组呢？我看，任何列都可以有“_” - anky

最后两列没有“__”，如果len(df.columns.str.split('__')) == 2，我想将其拆分为不同的数据框，对于其余列标题中的lenth ==1的部分应全部分组到一个数据框中。 - Shijith

好的，请允许我一些时间，我现在正在工作，晚上我会检查这个问题。@Shijith :) - anky

Answer 2

您可以检索已创建数据框的列名，并选择其中不包含的列：

other_columns = [x for x in df.columns if x not in (list(df1.columns) + list(df2.columns) + list(df3.columns))]

other_df = df[other_columns]

- SmileyProd

Answer 3

你也可以试试这样做：

k = list(df1.columns)+ list(df2.columns)+ list(df3.columns)

df = df.drop(k, axis=1)
print(df)

- Vikas Periyadath

Answer 4

以上所有的组合使我找到了我所需要的内容。

def _split_dataframes(df):
    df = df.set_index(['t_head','r_head'])
    final_dict_key = 0
    final_dict = {}
    names_list = []
    for elems in ['3ME__','6ME__','9ME__','other']:
        if elems != 'other':
            temp_df = df.filter(regex=elems)
            temp_df = temp_df.loc[(temp_df!='').all(axis=1)]
            names_list.extend(list(temp_df.columns))
            if not temp_df.empty:
                temp_df.reset_index(inplace=True)
                final_dict[str(final_dict_key)] = temp_df
                final_dict_key+= 1

        else:
            df.drop(names_list, axis=1,inplace=True)
            df = df.loc[(df!='').all(axis=1)]
            if not df.empty:
                df.reset_index(inplace=True)
                final_dict[str(final_dict_key)] = df

这将会把主数据框拆分并保存到一个字典中，使用递增键如下所示。

{
 '0':
     t_head   r_head 3ME__ Q219 3ME__ Q218 3ME__ Q119 3ME__ Q18 3ME__ Q418
   0     H1  Revenue      159.9      112.3        121      85.7      160.5
   1     H3   Income       45.6       27.2       23.1      15.3       51.1, 
 '1': 
     t_head   r_head 6ME__ Q219 6ME__ Q218
   0     H2  Revenue      280.9        198
   1     H4   Income       68.7       42.6, 
 '2':
      t_head   r_head 9ME__ Q417 9ME__ Q318 9ME__ Q317
   0     H1  Revenue      102.6      118.8       79.4
   1     H3   Income       24.2       30.2       15.3, 
 '3':
      t_head    r_head  Q219  Q418
   0     H5      Cash  1305  2072
   1     H6  Expenses  1239  1117
}

- Shijith