Pandas多级索引切片的级别名称

Question

Pandas多级索引切片的级别名称

10

最新版本的Pandas支持多重索引切片器。然而，为了正确使用它们，需要知道不同级别的整数位置。

例如，以下内容：

idx = pd.IndexSlice
dfmi.loc[idx[:,:,['C1','C3']],idx[:,'foo']]

假设我们已知要用 C1 和 C3 索引 第三行 级别，以及用 foo 索引 第二列 级别。

有时我只知道级别的名称，但不知道它们在多重索引中的位置。这种情况下有没有办法使用多重索引切片呢？

例如，假设我知道要在每个级别名称上应用哪些切片，比如作为字典：

'level_name_1' -> ':' 
'level_name_2' -> ':'
'level_name_3' -> ['C1', 'C3']

但我不知道这些级别在多重索引中的位置（深度）。Pandas是否有内置的索引机制来解决这个问题？

如果我只知道级别名称而不知道它们的位置，我还能以某种方式使用pd.IndexSlice对象吗？

附注：我知道我可以使用reset_index()然后只使用平面列，但我想避免重置索引（即使是暂时的）。我也可以使用query，但query要求索引名称与Python标识符兼容（例如，没有空格等）。

我见过的与上述最接近的是：

df.xs('C1', level='foo')

其中foo是级别的名称，C1是感兴趣的值。

我知道xs支持多个键，例如：

df.xs(('one', 'bar'), level=('second', 'first'), axis=1)

但是它不支持切片或范围（像 pd.IndexSlice 一样）。

- Amelio Vazquez-Reina

还可以参考这个问题和这个问题。 - Pietro Battiston

3个回答

1

我使用自定义函数来实现这个功能。它的名称是sel，灵感来自于同名的xarray方法。

def sel(df, /, **kwargs):
    """
    Select into a DataFrame by MultiIndex name and value

    This function is similar in functionality to pandas .xs() and even more similar (in interface) to xarray's .sel().

    Example:

    >>> index = pd.MultiIndex.from_product([['TX', 'FL', 'CA'],
    ...                                     ['North', 'South']],
    ...                                    names=['State', 'Direction'])
    >>> df = pd.DataFrame(index=index,
    ...                   data=np.random.randint(0, 10, (6,4)),
    ...                   columns=list('abcd'))
    >>> sel(df, State='TX')
                        a  b  c  d
       State Direction
       TX    North      5  5  9  5
             South      0  6  8  2
    >>> sel(df, State=['TX', 'FL'], Direction='South')
                        a  b  c  d
       State Direction
       TX    South      0  6  8  2
       FL    South      6  7  5  2

    indexing syntax is index_name=indexer where the indexer can be:

    - single index value
    - slice by using the slice() function
    - a list of index values
    - other indexing modes supported by indivdual axes in .loc[]

    Unnamed index levels can be selected using names _0, _1 etc where the number is the index level.

    raises KeyError if an invalid index level name is used.
    """
    # argument checking
    available_names = [name or f'_{i}' for i, name in enumerate(df.index.names)]
    extra_args = set(kwargs.keys()) - set(available_names)
    if extra_args:
        raise KeyError(f"Invalid keyword arguments, no index(es) {extra_args} in dataframe. Available indexes: {available_names}.")
    # compute indexers per index level
    index_sel = tuple(kwargs.get(name or f'_{i}', slice(None)) for i, name in enumerate(df.index.names))
    if not index_sel:
        index_sel = slice(None)
    # Fixup for single level indexes
    if len(df.index.names) == 1 and index_sel:
        index_sel = index_sel[0]
    return df.loc[index_sel, :]

- creanion

0

.query() 方法不支持正常的切片，但是它支持通过名称选择索引级别并使用区间！因此它也可以作为你问题的另一个答案。

查询支持使用反引号来引用索引名称，如下所示。

# Get an example dataset from seaborn
import pandas as pd
import seaborn as sns
df = sns.load_dataset("penguins")
df = df.rename_axis("numerical index / ħ")  # strange name to show escaping.
df = df.set_index(['species', 'island'], append=True)


# Working examples
# less than
df.query("`numerical index / ħ` < 100")

# range
slc = range(9, 90)
df.query("`numerical index / ħ` in @slc")

# Subsets
islands = ['Dream', 'Biscoe']
df.query("island in @islands and species == 'Adelie'")

- creanion

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Jeff · Accepted Answer

这仍然是一个开放的增强问题，详情请查看这里。支持这个问题是非常简单的，欢迎提交pull requests！

你可以轻松地通过以下方法实现此操作：

In [11]: midx = pd.MultiIndex.from_product([list(range(3)),['a','b','c'],pd.date_range('20130101',periods=3)],names=['numbers','letters','dates'])

In [12]: midx.names.index('letters')
Out[12]: 1

In [13]: midx.names.index('dates')
Out[13]: 2

这是一个完整的例子。

In [18]: df = DataFrame(np.random.randn(len(midx),1),index=midx)

In [19]: df
Out[19]: 
                                   0
numbers letters dates               
0       a       2013-01-01  0.261092
                2013-01-02 -1.267770
                2013-01-03  0.008230
        b       2013-01-01 -1.515866
                2013-01-02  0.351942
                2013-01-03 -0.245463
        c       2013-01-01 -0.253103
                2013-01-02 -0.385411
                2013-01-03 -1.740821
1       a       2013-01-01 -0.108325
                2013-01-02 -0.212350
                2013-01-03  0.021097
        b       2013-01-01 -1.922214
                2013-01-02 -1.769003
                2013-01-03 -0.594216
        c       2013-01-01 -0.419775
                2013-01-02  1.511700
                2013-01-03  0.994332
2       a       2013-01-01 -0.020299
                2013-01-02 -0.749474
                2013-01-03 -1.478558
        b       2013-01-01 -1.357671
                2013-01-02  0.161185
                2013-01-03 -0.658246
        c       2013-01-01 -0.564796
                2013-01-02 -0.333106
                2013-01-03 -2.814611

这是您的级别名称字典 -> 切片。

In [20]: slicers = { 'numbers' : slice(0,1), 'dates' : slice('20130102','20130103') }

这将创建一个空的索引器（选择所有内容）。

In [21]: indexer = [ slice(None) ] * len(df.index.levels)

将切片器添加到您的内容中

In [22]: for n, idx in slicers.items():
              indexer[df.index.names.index(n)] = idx

选择（这必须是一个元组，但最初是一个列表，因为我们必须修改它）

In [23]: df.loc[tuple(indexer),:]
Out[23]: 
                                   0
numbers letters dates               
0       a       2013-01-02 -1.267770
                2013-01-03  0.008230
        b       2013-01-02  0.351942
                2013-01-03 -0.245463
        c       2013-01-02 -0.385411
                2013-01-03 -1.740821
1       a       2013-01-02 -0.212350
                2013-01-03  0.021097
        b       2013-01-02 -1.769003
                2013-01-03 -0.594216
        c       2013-01-02  1.511700
                2013-01-03  0.994332