Pandas按组计算百分比变化

Question

假设我有以下DataFrame:

df = pd.DataFrame({'city': ['a', 'a', 'a', 'b', 'b', 'c', 'd', 'd', 'd'], 
                   'year': [2013, 2014, 2016, 2015, 2016, 2013, 2016, 2017, 2018],
                  'value': [10, 12, 16, 20, 21, 11, 15, 13, 16]})

我希望找到每个城市和年份相对于前一年价值的百分比变化率。我的最终数据框应该是这样的：

city  year  value
   a  2013    NaN
   a  2014   0.20
   a  2016    NaN
   b  2015    NaN
   b  2016   0.05
   c  2013    NaN
   d  2016    NaN
   d  2017  -0.14
   d  2018   0.23

我尝试在城市中使用一个组并使用apply，但它没有起作用：

df.groupby('city').apply(lambda x: x.sort_values('year')['value'].pct_change()).reset_index()

由于我无法获取年份，而且这种方式认为我拥有所有城市的所有年份，但实际上并非如此，所以它没有起作用。

编辑：我不太担心效率，因此任何解决问题的方案对我都是有效的。

- Bruno Mello

Answer 1

让我们尝试使用惰性的groupby()，使用pct_change来计算变化率，并使用diff来检测年份跳跃：

groups = df.sort_values('year').groupby(['city'])

df['pct_chg'] = (groups['value'].pct_change()
                    .where(groups['year'].diff()==1)
                )

输出：

  city  year  value   pct_chg
0    a  2013     10       NaN
1    a  2014     12  0.200000
2    a  2016     16       NaN
3    b  2015     20       NaN
4    b  2016     21  0.050000
5    c  2013     11       NaN
6    d  2016     15       NaN
7    d  2017     13 -0.133333
8    d  2018     16  0.230769

- Quang Hoang

---

天啊，我喜欢 pandas。 - cwallenpoole

Answer 2

尽管 @Quang 的回答更为优雅简洁，但我想增加另一种使用索引的方法。

sorted_df = df.sort_values(by=['city', 'year'])
sorted_df.loc[((sorted_df.year.diff() == 1) & 
              (sorted_df.city == sorted_df.city.shift(1))), 'pct_chg'] = sorted_df.value.pct_change()

正如你可以在你的数据框上运行下面的代码看到的那样，我的方法更快，但语法不够美观。

%timeit #mine
1.44 ms ± 2.91 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
%timeit #@Quang's
2.23 ms ± 40.1 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

- Sina Meftah