重新索引和填充 Pandas 中的 NaN 值

Question

考虑这个数据集：

data_dict = {'ind' : [1, 2, 3, 4], 'location' : [301, 301, 302, 303], 'ind_var' : [4, 8, 10, 15], 'loc_var' : [1, 1, 7, 3]}
df = pd.DataFrame(data_dict)

df_indexed = df.set_index(['ind', 'location'])
df_indexed

看起来像

           ind_var loc_var
ind location        
1   301      4      1
2   301      8      1
3   302     10      7
4   303     15      3

ind_var 是一个随着个体变化而变化的变量，loc_var 是一个随着位置变化而变化的变量。（我还有一个变量是随着个体和位置同时变化的，但为了简化演示，我将其省略。）

我需要将数据转换为每个个体索引包含所有可能的位置。我可以这样重新索引（仅显示个体1到3）：

new_shape = [(1, 301), (1, 302), (1, 303), (2, 301), (2, 302), (2, 303), (3, 301), (3, 302), (3, 303)]
idx = pd.Index(new_shape)
df2 = df_indexed.reindex(idx, method = None)
df2.index.names = ['id', 'location']

这提供了

        ind_var loc_var
id  location        
1   301     4     1
    302    NaN   NaN
    303    NaN   NaN
2   301     8     1
    302    NaN   NaN
    303    NaN   NaN
3   301    NaN   NaN
    302    10     7
    303    NaN   NaN

但我需要一种方法来填补缺失的值，以便获得：

        ind_var loc_var
id  location        
1   301     4     1
    302     4     7
    303     4     3
2   301     8     1
    302     8     7
    303     8     3
3   301    10     1
    302    10     7
    303    10     3

我尝试了两种不同的方法，但都没有成功：

1）使用loc_dict = {301：1，302：7，303：3}替换loc_var，以及ind_dict = {1：4，2：8，3：10，4：15}替换ind_var

2）使用groupby方法。

# First reset index
df_non_indexed = df2.reset_index() 
df_non_indexed['loc_var'] = df_non_indexed.groupby(['location'])['loc_var'].transform(lambda x: x.fillna(method='ffill')) 

这几乎有效，但只能进行向前（或向后）填充。一定有一种非常简单的方法来完成此操作，但我还没有想出来！感谢您的时间。

注：这与我的问题从宽到长的重塑有关。我采取了不同的方法，并简化了希望这个更容易理解。

- cd98

---

我认为你的第二个表格有一个错字。(2, 201)的值应该移动到(2, 202)。 - TomAugspurger

期望的输出是什么（不是向前填充）？ - Andy Hayden

我的第一反应是创建一个字典列表 [{'301':(4,1), '302':(nan, nan), '303':(nan,nan)}, {'301':...} 等。如果您使用此字典进行填充，提取所需的数据字典会更容易吗？很抱歉，我不熟悉Pandas。 - A.Wan

@TomAugspurger：我认为这里没有打错字，我制作了一个示例，使得个体1和2都选择了相同的位置301。 - cd98

AndyHayden：我已经添加了一个表格，展示数据应该是什么样子的。'ffill'方法只填充一些NaN值，但不会填充那些在非缺失值“后面”的NaN值。 - cd98

Answer 1

这可以通过使用stack/unstack和groupby很容易地完成：

# unstack to wide, fillna as 0s
df_wide = df_indexed.unstack().fillna(0)
# stack back to long
df_long = df_wide.stack()
# change 0s to max using groupby.
df_long['ind_var'] = df_long['ind_var'].groupby(level = 0).transform(lambda x: x.max())
df_long['loc_var'] = df_long['loc_var'].groupby(level = 1).transform(lambda x: x.max())
print df_long

这将为您提供结果：

                   ind_var  loc_var
ind location                  
1   301             4        1
    302             4        7
    303             4        3
2   301             8        1
    302             8        7
    303             8        3
3   301            10        1
    302            10        7
    303            10        3
4   301            15        1
    302            15        7
    303            15        3

- Zhen Sun

Answer 2

比我的原始解决方案更加干净。感谢@cd98。

In [41]: loc_dict = {301 : 1, 302 : 7, 303 : 3}

In [42]: ind_dict = {1 : 4, 2: 8, 3: 10}

In [198]: df2 = df2.reset_index()

In [199]: df2
Out[199]: 
   index  id  location  ind_var  loc_var
0      0   1       301        4        1
1      1   1       302      NaN      NaN
2      2   1       303      NaN      NaN
3      3   2       301        8        1
4      4   2       302      NaN      NaN
5      5   2       303      NaN      NaN
6      6   3       301      NaN      NaN
7      7   3       302       10        7
8      8   3       303      NaN      NaN

In [200]: df2['ind_var'] = df2.id.map(ind_dict)

In [201]: df2['loc_var'] = df2.location.map(loc_dict)

In [202]: df2
Out[202]: 
   index  id  location  ind_var  loc_var
0      0   1       301        4        1
1      1   1       302        4        7
2      2   1       303        4        3
3      3   2       301        8        1
4      4   2       302        8        7
5      5   2       303        8        3
6      6   3       301       10        1
7      7   3       302       10        7
8      8   3       303       10        3

In [203]: df2 = df2.set_index(['id', 'location'])

In [204]: df2
Out[204]: 
             index  ind_var  loc_var
id location                         
1  301           0        4        1
   302           1        4        7
   303           2        4        3
2  301           3        8        1
   302           4        8        7
   303           5        8        3
3  301           6       10        1
   302           7       10        7
   303           8       10        3

- TomAugspurger

---

是的，它确实有效，非常感谢！让我们看看是否有人发布了更简单的内容，否则我会接受你的答案。 - cd98

嘿，很可能有些简单的东西我没注意到。 - TomAugspurger

这个更简单，但我必须重置索引。df_original = df2.copy()`df_original = df_original.reset_index()'df_original['ind_var'] = df_original['id'].map(ind_dict)df_original['loc_var'] = df_original['rbd'].map(loc_dict) - cd98

如果您喜欢我之前评论中提供的解决方案，请继续编辑您的答案。否则，我会自己添加它作为答案，我不知道在这个网站上什么被认为更清晰。 - cd98

仅为完整起见，没有必要重置索引。我们可以通过以下方式访问索引的不同级别： df2['ind_var'] = df2.index.map(lambda x : ind_dict[x[0]] ) 和 df2['loc_var'] = df2.index.map(lambda x : loc_dict[x[1]] ) - cd98