PHP中的Pearson相关性

Question

我想在php中实现计算两组数据之间的人员相关系数。我正在尝试移植可以在以下网址中找到的python脚本http://answers.oreilly.com/topic/1066-how-to-find-similar-users-with-python/。 我的实施如下：

class LB_Similarity_PearsonCorrelation implements LB_Similarity_Interface{
public function similarity($user1, $user2){

    $sharedItem = array();
    $pref1 = array();
    $pref2 = array();

    $result1 = $user1->fetchAllPreferences();
    $result2 = $user2->fetchAllPreferences();

    foreach($result1 as $pref){
        $pref1[$pref->item_id] = $pref->rate;
    }

    foreach($result2 as $pref){
        $pref2[$pref->item_id] = $pref->rate;
    }

    foreach ($pref1 as $item => $preferenza){
        if(key_exists($item,$pref2)){
            $sharedItem[$item] = 1;
        }
    }

    $n = count($sharedItem);
    if ($n == 0) return 0;

    $sum1 = 0;$sum2 = 0;$sumSq1 = 0;$sumSq2 = 0;$pSum = 0;

    foreach ($sharedItem as $item_id => $pre) {
        $sum1 += $pref1[$item_id];
        $sum2 += $pref2[$item_id];

        $sumSq1 += pow($pref1[$item_id],2);
        $sumSq2 += pow($pref2[$item_id],2);

        $pSum += $pref1[$item_id] * $pref2[$item_id];
    }

    $num = $pSum - (($sum1 * $sum2) / $n);
    $den = sqrt(($sumSq1 - pow($sum1,2)/$n) * ($sumSq2 - pow($sum2,2)/$n));
    if ($den == 0) return 0;
    return $num/$den;

}
}

为了更好地理解代码，方法fetchAllPreferences返回一组实际上是项的对象，并将它们转换为数组以便于管理。

我不确定这个实现是否正确，特别是我对分母计算的正确性有些怀疑。

欢迎任何建议。

提前感谢！

- Luca Bernardi

---

你想要写出这个方程吗？http://upload.wikimedia.org/math/2/2/d/22d8661430d51f01217a3426466aae8b.png - Anthony

是的。我也使用Excel检查结果，看起来正确。但我也想再次确认。 - Luca Bernardi

用户1和用户2是X和Y，还是有许多个X和Y（三角函数/计算从来不是我的强项，但找出如何使计算机进行数学运算是我喜欢的事情）。 - Anthony

Answer 1

这是我的解决方案：

function php_correlation($x,$y){
    if(count($x)!==count($y)){return -1;}   
    $x=array_values($x);
    $y=array_values($y);    
    $xs=array_sum($x)/count($x);
    $ys=array_sum($y)/count($y);    
    $a=0;$bx=0;$by=0;
    for($i=0;$i<count($x);$i++){     
        $xr=$x[$i]-$xs;
        $yr=$y[$i]-$ys;     
        $a+=$xr*$yr;        
        $bx+=pow($xr,2);
        $by+=pow($yr,2);
    }   
    $b = sqrt($bx*$by);
    if($b==0) return 0;
    return $a/$b;
}

http://profprog.ru/korrelyaciya-na-php-php-simple-pearson-correlation/

- Alex

Answer 2

你的算法在数学上看起来是正确的，但在数字上不稳定。 显式地找到平方和是灾难的办法。 如果你有像 array(10000000001, 10000000002, 10000000003) 这样的数字会怎么样？ 可以在 维基百科 上找到一种数值稳定的单次遍历计算方差的算法，同样的原则也可以应用于计算协方差。

更简单的方法是，如果你不太关心速度，可以使用两个步骤。 在第一步中找到均值，然后在第二步中使用教科书公式计算方差和协方差。

- dsimcha

---

我的算法从不处理这么大的数字，而且速度也不是关键点，因为这个计算是离线完成的。但我真的很喜欢你的回答，肯定会深入探讨这个话题。谢谢！ - Luca Bernardi

Answer 3

在这里尝试我的软件包

http://www.phpclasses.org/browse/package/5854.html

- user290179

---

如果你希望其他人使用你的代码，你应该将其放在Github上。当前的网站很糟糕。 - twk