我正在尝试在php中实现两组数据之间人的相关系数的计算.
我只是想尝试移植可以在这个网址找到的python脚本
http://answers.oreilly.com/topic/1066-how-to-find-similar-users-with-python/
我的实现如下:
class LB_Similarity_PearsonCorrelation implements LB_Similarity_Interface{
public function similarity($user1, $user2){
$sharedItem = array();
$pref1 = array();
$pref2 = array();
$result1 = $user1->fetchAllPreferences();
$result2 = $user2->fetchAllPreferences();
foreach($result1 as $pref){
$pref1[$pref->item_id] = $pref->rate;
}
foreach($result2 as $pref){
$pref2[$pref->item_id] = $pref->rate;
}
foreach ($pref1 as $item => $preferenza){
if(key_exists($item,$pref2)){
$sharedItem[$item] = 1;
}
}
$n = count($sharedItem);
if ($n == 0) return 0;
$sum1 = 0;$sum2 = 0;$sumSq1 = 0;$sumSq2 = 0;$pSum = 0;
foreach ($sharedItem as $item_id => $pre) {
$sum1 += $pref1[$item_id];
$sum2 += $pref2[$item_id];
$sumSq1 += pow($pref1[$item_id],2);
$sumSq2 += pow($pref2[$item_id],2);
$pSum += $pref1[$item_id] * $pref2[$item_id];
}
$num = $pSum - (($sum1 * $sum2) / $n);
$den = sqrt(($sumSq1 - pow($sum1,2)/$n) * ($sumSq2 - pow($sum2,2)/$n));
if ($den == 0) return 0;
return $num/$den;
}
}
澄清为了更好地理解代码,方法fetchAllPreferences返回一组实际上是项目的对象,将它们变成一个数组以便于管理
我不确定这个实现是否正确,特别是我对分母计算的正确性有些怀疑.
欢迎任何建议.
提前致谢!
解决方法:
您的算法看起来在数学上是正确的但在数值上不稳定.明确地找到平方和是灾难的一个方法.如果您有像数组(10000000001,10000000002,10000000003)这样的数字怎么办?用于计算方差的数值稳定的一次通过算法可以是found on Wikipedia,并且相同的原理可以应用于计算协方差.
更简单,如果你不太关心速度,你可以使用两次传球.在第一遍中找到均值,然后使用第二遍中的教科书公式计算方差和协方差.