[K-Data x 러닝스푼즈] 2-3. 유사도 개념 이해하기

저번 포스팅에 게시한 CF(협업필터링) 방법을 보면

https://xod22.tistory.com/12

[K-Data x 러닝스푼즈] 2-2. 협업 필터링(CF)의 원리

유사도 계산이 필수적인데요! 

오늘은 유사도 계산을 하는 여러가지 방법에 대해 자세하게 적어보려고 합니다!

 

그럼 시작!

# 1) Cosine Similarity

: 두 벡터의 각도를 이용하여 구할 수 있는 유사도.

직관적으로 두 벡터가 가리키는 방향이 얼마나 유사한지를 의미한다.

 

일반적으로 계산을 위해서는(내적) 두 벡터의 차원은 같아야한다.

[1,2,3] 이렇게 3차원 벡터라면 상대 벡터 역시 [2,4,6] 이런식으로..!

# 2) MSD Similarity (Mean Squared Difference Similarity)

: 추천 시스템에서만 쓰이는 유사도!

=> 각 기준(유저, 아이템)에 대한 점수의 차이를 계산한다

=> 유사도는 유클리드 거리에 반비례..! / 분모에 1을 더하는 이유는 분모가 0이되는 것을 방지하기 위한 일종의 smoothing

# 3) Jaccard Similarity

: 집합의 개념을 사용한 유사도로 잘 쓰이진 않음!

코사인 유사도/피어슨 유사도와 달리 길이가 달라도 이론적으로 유사도를 구할 수 있음!

두 집합이 얼마나 유사한 아이템을 공유하고 있는가를 나타냄

 

집합A : [1,2,3]

집합B : [3,2,1] => {1,2,3}

# 4) Pearson Similarity (Pearson Correlation)

: 각 벡터를 표본 평균으로 정규화한 뒤에 코사인 유사도를 구한 값

정규화 과정을 빼고 보면 코사인 유사도를 구하는 방법과 동일!

1에 가까우면 양의 상관관계, 0일 경우 서로 독립, -1에 가까울수록 음의 상관관계를 나타냄

User-based에서 피어슨 유사도를 사용하면 성능이 높다는게 

평점을 짜게주거나 후하게 주거나를 고려해서 유사도를 계산해주기 때문이 아닐까..(?) 라는 생각이 든다..!

 

---

이렇게 4가지 방법의 유사도 계산을 정리해보았는데요!

CF에서 User-based 방법에서는 피어슨 유사도를 사용할 때 성능이 높고 

Item-based방법에서는 코사인 유사도를 사용할 때 성능이 높다는 사실을 다시한번 기억해보면서 정리하면 좋을 것 같습니다!

 

그럼 끝~~!