通过匹配Pandas DataFrame中另一列的值，计算行值之间的差异。

Question

我有一个由调用Pandas.io.json.json_normalize()生成的DataFrame。以下是示例：

dfIn = pd.DataFrame({'seed':[1324367672,1324367672,1324367673,1324367673,1324367674,1324367674], 'lanePolicy':[True,False,True,False,True,False,],
                   'stepsPerTrip':[40,37,93,72,23,70], 'density':[51,51,208,208,149,149]})

  seed       lanePolicy stepsPerTrip density
0 1324367672 True       40           51
1 1324367672 False      37           51
2 1324367673 True       93           208
3 1324367673 False      72           208
4 1324367674 True       23           149
5 1324367674 False      70           149

请注意，在dfIn ['seed']中有一对匹配的值，其中一个为True，另一个为False，并且如果dfIn ['seed']匹配两行，则dfIn ['density']也将匹配。我想计算类似以下表格的表格：

dfDesired = pd.DataFrame({'seed':[1324367672,1324367673,1324367674], 
                   'stepsTrue':[40,93,23], 'stepsFalse':[37,72,70], 'stepsDiff':[3, 21, -47], 'density':[51,208,149]})

  seed       stepsTrue stepsFalse stepsDiff density
0 1324367672 40        37         3         51
1 1324367673 93        72         21        208
2 1324367674 23        70         -47       149

特别是，我正在寻找dfDesired ['stepsDiff']中的值，它们是每对匹配的dfIn ['seed']的相关dfIn ['lanePolicy']的False和True值的dfIn ['stepsPerTrip']之间的差异。注意，dfDesired应该只有dfIn行数的一半。

我能够使用以下方法计算单个列的值:

dfDiff = dfIn.loc[dfIn['lanePolicy'] == True]['stepsPerTrip'].reset_index()['stepsPerTrip'] - dfIn.loc[dfIn['lanePolicy'] == False]['stepsPerTrip'].reset_index()['stepsPerTrip']

0     3
1    21
2   -47
Name: stepsPerTrip, dtype: int64

然而，我想创建一个新的DataFrame，以保留其他列。我也尝试了以下方法，但结果不正确：

dfDesired = dfIn.groupby('seed').apply(lambda x:x.loc[x['lanePolicy']==True]['stepsPerTrip']-x.loc[x['lanePolicy']==False]['stepsPerTrip'])

seed         
1324367672  0   NaN
            1   NaN
1324367673  2   NaN
            3   NaN
1324367674  4   NaN
            5   NaN
Name: stepsPerTrip, dtype: float64

提前感谢您。

- David Prentiss

Answer 1

使用DataFrame.pivot，通过Series.sub减去列，并对于density列添加不包含重复值的带有seed的序列。使用DataFrame.drop_duplicates。

df = dfIn.pivot('seed','lanePolicy','stepsPerTrip').add_prefix('steps')
df['stepsDiff'] = df['stepsTrue'].sub(df['stepsFalse'])
df['density'] = dfIn.drop_duplicates('seed').set_index('seed')['density']
df = df.reset_index().rename_axis(None, axis=1)
print (df)
         seed  stepsFalse  stepsTrue  stepsDiff  density
0  1324367672          37         40          3       51
1  1324367673          72         93         21      208
2  1324367674          70         23        -47      149

另一种解决方案是使用 DataFrame.pivot_table 和默认的聚合函数mean，如果在列seed、density和lanePolicy中有重复值：

df = (dfIn.pivot_table(index=['seed','density'], columns='lanePolicy',values='stepsPerTrip')
          .add_prefix('steps'))
df['stepsDiff'] = df['stepsTrue'].sub(df['stepsFalse'])
df = df.reset_index().rename_axis(None, axis=1)
print (df)
         seed  density  stepsFalse  stepsTrue  stepsDiff
0  1324367672       51          37         40          3
1  1324367673      208          72         93         21
2  1324367674      149          70         23        -47

- jezrael