Python Scipy斯皮尔曼相关性

Question

我正在尝试从数据框(df)中获取列名，并将它们与由spearmanr相关函数产生的结果数组相关联。我需要将列名(a-j)与相关值(spearman)和p值(spearman_pvalue)关联起来。有没有直观的方法来完成这个任务？

from scipy.stats import pearsonr,spearmanr
import numpy as np
import pandas as pd

df=pd.DataFrame(np.random.randint(0,100,size= (100,10)),columns=list('abcdefghij'))

def binary(row):
    if row>=50:
        return 1
    else:
        return 0
df['target']=df.a.apply(binary)

spearman,spearman_pvalue=spearmanr(df.drop(['target'],axis=1),df.target)
print(spearman)
print(spearman_pvalue)

- Kyle

Answer 1

看起来您需要：

from scipy.stats import spearmanr

df=pd.DataFrame(np.random.randint(0,100,size= (100,10)),columns=list('abcdefghij'))
#print (df)

#faster for binary df
df['target'] = (df['a'] >= 50).astype(int)
#print (df)

spearman,spearman_pvalue=spearmanr(df.drop(['target'],axis=1),df.target)

df1 = pd.DataFrame(spearman.reshape(-1, 11), columns=df.columns)
#print (df1)

df2 = pd.DataFrame(spearman_pvalue.reshape(-1, 11), columns=df.columns)
#print (df2)

### Kyle, we can assign the index back to the column names for the total matrix:
df2=df2.set_index(df.columns)
df1=df1.set_index(df.columns)

或者：

df1 = pd.DataFrame(spearman.reshape(-1, 11), 
                  columns=df.columns, 
                  index=df.columns)
df2 = pd.DataFrame(spearman_pvalue.reshape(-1, 11), 
                   columns=df.columns, 
                   index=df.columns)

- jezrael

---

嗨Jezrael，我尝试使用df ['target']实现这个，但是在reshape上失败了。您能否调整代码，使spearmanr如下：spearman，spearman_pvalue = spearmanr（df.drop（['target']，axis = 1），df.target）。我需要将此与二进制目标相关联以进行斯皮尔曼相关性的统计，否则我将只使用pearson（离散vs连续）。 - Kyle

哎呀，我忘记了 target 列。现在它应该可以正常工作了。 - jezrael