有没有办法用熊猫计算加权相关系数?我看到R有这样的方法.
另外,我想获得相关性的p值.我在R中也没有找到这个.
链接到*以获取有关加权相关性的说明:https://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient#Weighted_correlation_coefficient
解决方法:
我不知道任何实现此功能的Python包,但推出自己的实现应该相当简单.使用*文章的命名约定:
def m(x, w):
"""Weighted Mean"""
return np.sum(x * w) / np.sum(w)
def cov(x, y, w):
"""Weighted Covariance"""
return np.sum(w * (x - m(x, w)) * (y - m(y, w))) / np.sum(w)
def corr(x, y, w):
"""Weighted Correlation"""
return cov(x, y, w) / np.sqrt(cov(x, x, w) * cov(y, y, w))
我尝试使上面的函数尽可能地与*中的公式匹配,但是有一些潜在的简化和性能改进.例如,正如@Alberto Garcia-Raboso所指出的,m(x,w)实际上只是np.average(x,weights = w),所以不需要为它实际编写函数.
这些功能非常简单,只是进行计算.在执行计算之前,您可能需要考虑强制输入为数组,即x = np.asarray(x),因为如果传递列表,这些函数将不起作用.还可以实现用于验证所有输入具有相等长度,非空值等的附加检查.
用法示例:
# Initialize a DataFrame.
np.random.seed([3,1415])
n = 10**6
df = pd.DataFrame({
'x': np.random.choice(3, size=n),
'y': np.random.choice(4, size=n),
'w': np.random.random(size=n)
})
# Compute the correlation.
r = corr(df['x'], df['y'], df['w'])
有关p值的讨论here.它看起来不像通用计算,它取决于你实际获得权重的方式.