将Pandas数据框转换为带有前缀列而不是MultiIndex

Question

我有一个时间序列数据框，类似于：

ts = pd.DataFrame([['Jan 2000','WidgetCo',0.5, 2], ['Jan 2000','GadgetCo',0.3, 3], ['Jan 2000','SnazzyCo',0.2, 4],
          ['Feb 2000','WidgetCo',0.4, 2], ['Feb 2000','GadgetCo',0.5, 2.5], ['Feb 2000','SnazzyCo',0.1, 4],
          ], columns=['month','company','share','price'])

看起来像这样：

  month   company  share  price
0  Jan 2000  WidgetCo    0.5    2.0
1  Jan 2000  GadgetCo    0.3    3.0
2  Jan 2000  SnazzyCo    0.2    4.0
3  Feb 2000  WidgetCo    0.4    2.0
4  Feb 2000  GadgetCo    0.5    2.5
5  Feb 2000  SnazzyCo    0.1    4.0

我可以像这样旋转这个表格：

pd.pivot_table(ts,index='month', columns='company')

这让我想到：

            share                      price                  
company  GadgetCo SnazzyCo WidgetCo GadgetCo SnazzyCo WidgetCo
month                                                         
Feb 2000      0.5      0.1      0.4      2.5        4        2
Jan 2000      0.3      0.2      0.5      3.0        4        2

除了需要折叠 MultiIndex 以便将 company 用作 share 和 price 的前缀之外，这就是我想要的：

          WidgetCo_share  WidgetCo_price  GadgetCo_share  GadgetCo_price   ...
month                                                                      
Jan 2000             0.5               2             0.3             3.0   
Feb 2000             0.4               2             0.5             2.5   

我设计了以下函数来解决这个问题，但它似乎并不是一个好的解决方案：

def pivot_table_to_flat(df, column, index):
    res = df.set_index(index)
    cols = res.drop(column, axis=1).columns.values
    resulting_cols = []
    for prefix in res[column].unique():
        for col in cols:
            new_col_name = prefix + '_' + col
            res[new_col_name] = res[res[column] == prefix][col]
            resulting_cols.append(new_col_name)

    return res[resulting_cols]

pivot_table_to_flat(ts, index='month', column='company')

相比于 MultiIndex，有什么更好的方法可以实现具有前缀的列的数据透视？

- Ben Mabey

Answer 1

这似乎更简单：

df.columns = [' '.join(col).strip() for col in df.columns.values]

这个函数需要一个带有多级索引列的 df，并将列标签展平，同时保持 df 不变。

(参考：@andy-haden Python Pandas - 如何展平列中的分层索引)

- CPBL

Answer 2

我想到了一个解决办法。使用MultiIndex上的数据可以得到一个非常简洁的解决方案：

def flatten_multi_index(df):
    mi = df.columns
    suffixes, prefixes = mi.levels
    col_names = [prefixes[i_p] + '_' + suffixes[i_s] for (i_s, i_p) in zip(*mi.labels)]
    df.columns = col_names
    return df

flatten_multi_index(pd.pivot_table(ts,index='month', columns='company'))

上述版本仅处理2D的MultiIndex，但如果需要，可以进行泛化。

- Ben Mabey

Answer 3

截至2017年初和pandas 0.19.2的更新。您可以在MultiIndex上使用.values。因此，这个代码片段应该会为那些需要展平MultiIndex的人提供帮助。这个代码片段既聪明又不够聪明：它可以处理DataFrame的行索引或列名，但如果getattr(df,way)的结果没有嵌套（即MultiIndex），它将会崩溃。

def flatten_multi(df, way='index'): # or way='columns'
    assert way in {'index', 'columns'}, "I'm sorry Dave."
    mi = getattr(df, way)
    flat_names = ["_".join(s) for s in mi.values]
    setattr(df, way, flat_names)
    return df

- MrDrFenner