[통계 기초] 공분산과 상관 계수 (Covariance and Correlation)

정의

공분산(Covariance)과 상관 계수(Correlation)는 확률 변수 (Random variable)가 두 개일 때, 그들 간의 관계를 summarize해주는 statistics이다.

공분산 (Covariance)

상관 계수 (Correlation)

 

성질

1. 공분산은 X, Y의 scale에 따라서 값이 달라질 수 있다 (ex. 키의 단위에 따라 값이 달라짐: m, cm).
2. 상관 계수는 공분산을 각각의 표준 편차(standard deviation)로 나누어 보정한 것이기 때문에 scale에 따라 값이 달라지지 않는다.
3. 상관 계수는 -1과 1 사이의 값을 가진다.
4. 상관 계수는 X와 Y 사이의 linear relationship의 정도를 나타내준다. 그래서 X, Y 간의 강한 관계가 있더라도 (ex. 이차식) linear relationship이 아니라면 상관 계수로 이를 알 수 없다.
5. 상관 계수의 값이 0이라고 독립은 아니지만, 독립이라면 상관 계수의 값이 0이다.
6. 아래의 수식들을 만족한다.

 

Reference

• Wasserman, L. (2004). All of Statistics: A concise course in statistical inference.