pearson样本线性相关系数的概念和计算

1. 皮尔逊相关系数1.1 定义度量两组随机变量x\bold{x}x和y\bold{y}y样本之间的线性相关程度和方向的一个指标记为r(x,y)r(\bold{x},\bold{y})r(x,y)该值的范围[-1,1]。r0r0r0:x,y\bold{x},\bold{y}x,y线性正相关越大线性正相关程度越大r1r1r1,完全线性正相关r0r0r0:x,y\bold{x},\bold{y}x,y线性负相关绝对值越大线性负相关程度越大r−1r-1r−1,完全线性负相关r0r0r0:x,y\bold{x},\bold{y}x,y不存在线性相关性1.2 计算r(x,y)Conv(x,y)σ(x)σ(y)∑i1n(xi−x‾)(yi−y‾)∑i1n(xi−x‾)2∑i1n(yi−y‾)2r(x,y)\frac{Conv(x,y)}{\sigma(x)\sigma(y)}\frac{\sum_{i1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum_{i1}^{n}(x_i-\overline{x})^2} \sqrt{\sum_{i1}^{n}(y_i-\overline{y})^2}}r(x,y)σ(x)σ(y)Conv(x,y)​∑i1n​(xi​−x)2​∑i1n​(yi​−y​)2​∑i1n​(xi​−x)(yi​−y​)​1.3 成立条件x,y都是连续变量x,y有近似线性相关性样本中不存在太多异常值如果要做显著性检验小样本下x,y需大致呈正态分布这时推断才比较可靠1.4 python实现scipy最常用。scipy.stats.pearsonr函数2. 用途假设我们有两组特征X和Y, 我不确定它们是否线性正相关如果确定了二者高度线性正相关我只需要在其中选择一个特征作为下游任务即可如何确定使用pearson相关系数评估。