在Python中从多重索引数据框中获取索引号

Question

有很多方法可以从pandas dataframe获取最后一个索引值，但我想要获取多重索引数据框级别0中每个索引的最后一行的索引位置号码。我找到了一种使用循环的方法，但是数据框有数百万行，这种循环速度较慢。我认为还有更pythonic的方法。

这里是df3的一个小例子。我想要获取一个列表（或者可能是一个数组），其中包含df的索引号码，即在更改为新股票之前的最后一行。索引列就是我想要的结果。这是来自df的索引位置。

Stock   Date      Index 
AAPL    12/31/2004  
        1/3/2005    
        1/4/2005    
        1/5/2005    
        1/6/2005    
        1/7/2005    
        1/10/2005   3475
AMZN    12/31/2004  
        1/3/2005    
        1/4/2005    
        1/5/2005    
        1/6/2005    
        1/7/2005    
        1/10/2005   6951
BAC     12/31/2004  
        1/3/2005    
        1/4/2005    
        1/5/2005    
        1/6/2005    
        1/7/2005    
       1/10/2005    10427

这是我正在使用的代码，其中df3是数据框架。

test_index_list = []
for start_index in range(len(df3)-1):
    end_index = start_index + 1
    if df3.index[start_index][0] != df3.index[end_index][0]:
       test_index_list.append(start_index)

- J Westwood

---

请查看如何创建良好的可重现的Pandas示例，以便我们能够清楚地在我们这一端复制它，以确认它与您定义的输入预期结果相匹配。 - roganjosh

@roganjosh。有没有办法更新一个问题。我可以提供一个多级索引DF的样本。 - J Westwood

当然可以。在您的问题底部，与您的个人资料图片等同级别，您应该会看到“分享”，“编辑”等选项。您只需点击“编辑”并进行更改即可 :) - roganjosh

Answer 1

我稍微改变了 divakar的答案，使用 get_level_values 来获取 MultiIndex 第一层的索引值：

df = pd.DataFrame({'A':list('abcdef'),
                   'B':[4,5,4,5,5,4],
                   'C':[7,8,9,4,2,3],
                   'D':[1,3,5,7,1,0],
                   'E':[5,3,6,9,2,4],
                   'F':list('aaabbc')}).set_index(['F','A','B'])

print (df)
       C  D  E
F A B         
a a 4  7  1  5
  b 5  8  3  3
  c 4  9  5  6
b d 5  4  7  9
  e 5  2  1  2
c f 4  3  0  4

def start_stop_arr(initial_list):
    a = np.asarray(initial_list)
    mask = np.concatenate(([True], a[1:] != a[:-1], [True]))
    idx = np.flatnonzero(mask)
    stop = idx[1:]-1
    return stop

print (df.index.get_level_values(0))
Index(['a', 'a', 'a', 'b', 'b', 'c'], dtype='object', name='F')

print (start_stop_arr(df.index.get_level_values(0)))
[2 4 5]

- jezrael

---

感谢所有周到的解决方案。谢谢。 - J Westwood

Answer 2

dict.values

dict.values用于跟踪值，最后找到的值将成为最重要的值。

list(dict(map(reversed, enumerate(df.index.get_level_values(0)))).values())

[2, 4, 5]

使用循环

创建一个函数，接受分解和唯一值的数量作为参数。

def last(bins, k):
    a = np.zeros(k, np.int64)
    for i, b in enumerate(bins):
        a[b] = i
    return a

您可以使用以下方法进行因式分解：

f, u = pd.factorize(df.index.get_level_values(0))
last(f, len(u))

array([2, 4, 5])

然而，通常构建 MultiIndex 的方式是，labels 对象已经进行了因子分解，而 levels 对象是唯一值。

last(df.index.labels[0], df.index.levels[0].size)

array([2, 4, 5])

此外，我们可以使用Numba进行即时编译以提高执行速度。

from numba import njit

@njit
def nlast(bins, k):
    a = np.zeros(k, np.int64)
    for i, b in enumerate(bins):
        a[b] = i
    return a

nlast(df.index.labels[0], df.index.levels[0].size)

array([2, 4, 5])

时间控制

%%timeit
f, u = pd.factorize(df.index.get_level_values(0))
last(f, len(u))

641 µs ± 9.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

%%timeit
f, u = pd.factorize(df.index.get_level_values(0))
nlast(f, len(u))

264 µs ± 11.1 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

%%timeit
nlast(df.index.labels[0], len(df.index.levels[0]))

4.06 µs ± 43.6 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

---

%%timeit
last(df.index.labels[0], len(df.index.levels[0]))

654 µs ± 14.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

%%timeit
list(dict(map(reversed, enumerate(df.index.get_level_values(0)))).values())

709 µs ± 4.94 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

jezrael的解决方案。同样非常快。

%timeit start_stop_arr(df.index.get_level_values(0))

113 µs ± 83.1 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

---

np.unique

我没有计时，因为我不喜欢。如下所示：

使用np.unique和return_index参数。这将返回每个唯一值被找到的第一个位置。在此之后，我会进行一些移位操作，以获取先前唯一值的最后位置。

注意：如果级别值在连续组中，则此方法有效。如果它们不是，则我们必须进行排序和取消排序，这不值得。除非真的需要，否则我将展示如何做到这一点。

i = np.unique(df.index.get_level_values(0), return_index=True)[1]
np.append(i[1:], len(df)) - 1

array([2, 4, 5])

---

设置

来自@jezrael

df = pd.DataFrame({'A':list('abcdef'),
                   'B':[4,5,4,5,5,4],
                   'C':[7,8,9,4,2,3],
                   'D':[1,3,5,7,1,0],
                   'E':[5,3,6,9,2,4],
                   'F':list('aaabbc')}).set_index(['F','A','B'])

- piRSquared