Pandas DataFrame能否高效地计算PMI（点间互信息）？

Question

我搜索了一下，但惊讶地发现没有简单易用的框架或现有代码可以计算逐点互信息(Wiki PMI)，尽管像Scikit-learn这样的库提供了一个关于总体互信息的度量（通过直方图）。这是在Python和Pandas的上下文中进行的！

我的问题：

我有一个包含每行[x，y]示例的DataFrame，并希望根据公式（或更简单的公式）计算一系列PMI值：

PMI(x，y) = log( p(x，y) / p(x) * p(y) )

到目前为止，我的方法是：

def pmi_func(df, x, y):
    df['freq_x'] = df.groupby(x).transform('count')
    df['freq_y'] = df.groupby(y).transform('count')
    df['freq_x_y'] = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( df['freq_x_y'] / (df['freq_x'] * df['freq_y']) )

这会提供有效和/或高效的计算吗？

样例输入/输出：

x  y  PMI
0  0  0.176
0  0  0.176
0  1  0

- jfive

---

你能展示一下你的样本数据和期望输出吗？ - Zero

嗨，我添加了一个简单的例子，感谢你的帮助 @JohnGalt。 - jfive

我认为，你应该计算概率而不是频率：np.log(df['freq_x_y'] / (df['freq_x'] * df['freq_y'])) 应该变成 np.log(len(df.index) * df['freq_x_y'] / (df['freq_x'] * df['freq_y']))，这样可以考虑总记录数？ - Zero

谢谢，那绝对是正确的！ - jfive

Answer 1

我会添加三个比特。

def pmi(dff, x, y):
    df = dff.copy()
    df['f_x'] = df.groupby(x)[x].transform('count')
    df['f_y'] = df.groupby(y)[y].transform('count')
    df['f_xy'] = df.groupby([x, y])[x].transform('count')
    df['pmi'] = np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) )
    return df

1. 应使用df.groupby(x)[x].transform('count')和df.groupby(y)[y].transform('count')以仅返回计数。
2. 应使用np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y'])的概率。
3. 应该在数据帧的副本上工作，而不是修改输入数据帧。

- Zero

Answer 2

解决方案（使用SKlearn KDE替代方案）：

请留言进行审核。

from sklearn.neighbors.kde import KernelDensity

# pmi function 
def pmi_func(df, x, y):
    freq_x = df.groupby(x).transform('count')
    freq_y = df.groupby(y).transform('count')
    freq_x_y = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( len(df.index) *  (freq_x_y / (freq_x * freq_y)) )

# pmi with kernel density estimation    
def kernel_pmi_func(df, x, y):
    # reshape data
    x = np.array(df[x])
    y = np.array(df[y])
    x_y = np.stack((x, y), axis=-1)

    # kernel density estimation
    kde_x = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x[:, np.newaxis])
    kde_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(y[:, np.newaxis])
    kde_x_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x_y)

    # score
    p_x = pd.Series(np.exp(kde_x.score_samples(x[:, np.newaxis])))
    p_y = pd.Series(np.exp(kde_y.score_samples(y[:, np.newaxis])))
    p_x_y = pd.Series(np.exp(kde_x_y.score_samples(x_y)))   

    df['pmi'] = np.log( p_x_y / (p_x * p_y) )

- jfive

---

最好也可以通过交叉验证来选择“带宽”。Jake Vanderplas提供了一个示例：https://jakevdp.github.io/PythonDataScienceHandbook/05.13-kernel-density-estimation.html - william_grisaitis