[K-Data x 러닝스푼즈] 2-2. 협업 필터링(CF)의 원리

저번 포스팅에서는 컨텐츠 기반 추천인 CB(Content-based Recommendation)에 대해 공부해봤는데요!

이번에는 많이 쓰이는 협업필터링(CF)에 대해 적어보려고 합니다!!

# 협업 필터링?

: CF(Collaborative Filtering)

 

CF의 예시

 

=> 유저 A와 비슷한 성향을 갖는 유저들이 선호하는 아이템을 추천한다.

=> 아이템이 가진 속성을 사용하지 않으면서도 높은 성능을 보임!

# 1) User-based Collaborative Filtering

: 두 유저가 얼마나 유사한 아이템을 선호하는가?

유저간의 유사도를 구한뒤, 나와 유사도가 높은 유저들이 선호하는 아이템을 추천함!

 

예시 ) 

User B가 스타워즈에 매긴 평점을 예측하고 싶은 상황에서

User A,B가 각 영화에 매긴 평점을 비교해보면 두 유저가 비슷한 취향을 가졌음을 예측할 수 있다.

따라서 User B의 스타워즈에 대한 선호도는 높을 것으로 예측된다!

 

어떻게 평점을 정확하게 예측할 수 있을까?

 

① Average

: 다른 유저들의 스타워즈에 대한 rating을 모두 사용하여 평균을 냄.

User B입장에서 모든 평점을 동일하게 반영함!

② Weighted Average

- 유저간의 코사인 유사도값을 weight(가중치)로 사용하여 평점의 평균을 냄!

- User B 입장에서 볼 때, 코사인 유사도가 높은 User A의 평점은 많이 반영되고 User C의 평점은 적게 반영되어 예측 평점이 구해진다!

---

하지만, 내가 평점을 내리는 기준은 다른 유저와 다르다!
유사도가 비슷하더라도?
어떤 유저는 전체적으로 높은 평점을 준 것일수도 있고,
반대로 전체적으로 낮게준 것일 수도 있다.

 

③ Weighted Average with deviation

: Deviation을 사용하자!

절대 평점을 사용하는 것이 아닌

각각 유저의 평균 평점에서 얼마나 높은지 혹은 낮은지, 그 편차를 사용한다.

 

예시 )

어떤 유저의 평균이 2.5점인데, 5점을 줬다면 편차가 크기 때문에 아주 높게 평가한 것

반면 모든 아이템의 평점을 5점으로 준 유저는 편차가 작기때문에 아이템끼리의 비교가 어렵게된다.

 

먼저 모든 평점 데이터를 deviation 데이터로 바꿈

구해진 deviation의 평균을 구하여 predicted deviation 구함

* 최종 predict rating=각각의 유저평균 rating + predicted deviation

=> 절대평점을 활용하는 것 보다 더 성능이 좋다

 

 

* 추가적으로 알아 놓을것..!

④ K Nearest Neighbors Collaborative Filtering

모든 사용자를 계산하는 것이 아니라 유저(나)와 유사한 K=25~50명의 유저를 이용하여 유저(나)의 스타워즈 평점 예측!

: 사용자가 많다면? 계산해야될 유사도는 많아지고 성능은 떨어지게됨.. ㅠㅠ

이때, 유저u와 가장 유사한 K명의 유저를 이용해 평점을 예측한다

단 K=값은 직접 튜닝해야하는 하이퍼 파라미터값

 

# 2) Item-based Collaborative Filtering

: 아이템 측면에서 유저를 예측(?) / User-based의 반대라고 생각하자.

- 두 아이템이 유저로부터 얼마나 유사한 평가를 받았는가?

- 아이템 선호도를 바탕으로 연관성이 높은 다른 아이템을 추천, 아이템간의 유사도를 구한다.

User B의 스타워즈에 대한 평점이 알고싶을 때,

스타워즈는 아이언맨, 헐크와 유사도가 높다. 반면 비포선라이즈와 노팅힐은 유사도가 낮은 것을 확인할 수 있다.

 

=> 따라서 User B의 스타워즈에 대한 평점은 아이언맨, 헐크와 비슷하게 높을 것이라고 예측해볼 수 있음!

 

① Average

User-based와 정확히 반대 방법으로 구함!

User(i)가 평가한 다른 아이템들의 평균으로 구해지며 다음과 같다.

② Weighted Average

다른 영화와의 코사인 유사도를 구한 후에 코사인 유사도를 가중치로 계산하여 하는 것으로

 

예를들어 k=2일때,

스타워즈와 아이언맨의 유사도(0.7)

스타워즈와 헐크의 유사도(0.9)라고 하면

 

User B의 스타워즈에 대한 예측 평점은

다음과 같이 계산된다.

 

 

* 추가적으로 알아 놓을것..!

Item-based 방법 역시 k를 지정하여 계산을 줄이고 성능을 높일 수 있다!

K값은 직접 튜닝해야하는 하이퍼 파라미터값

 

---

#  User-based VS Item-based

- 단, 유저가 많고 아이템은 적다는 상황을 가정

- 항상 맞는것은 아니니 참고만 할 것!

특징	User-based	Item-based
1	구현이 쉽고, 유사한 K의 수가 늘어날 수록 성능이 높아짐	보통 User-based보다 높은 성능을 냄
2	Item-based보다 더 다양한 추천 결과 제공	아이템 간의 유사도를 사용하는 것이 더 좋다
3	Cold start에 취약(사용자 데이터가 별로 없음)	추천에 대한 이유를 설명하기 쉬움 예 ) 너가 전에 아이언맨을 좋게봤으니까 비슷한 스타워즈를 추천하겠어~
4	피어슨 유사도를 사용할 때 성능 높음	코사인 유사도를 사용할 때 성능 높음

 

#  CF (Collaborative Filtering의 한계)

1. Cold Start 문제

: CB(Content-based Recommendation)은 강하지만, CF(Collaborative Filtering)는 약함

데이터가 충분하지 않다면 추천 성능이 떨어짐

데이터가 전혀 없는 신규 유저, 아이템의 경우  추천이 불가능 하다는 문제

 

2. 계산 효율

: 유저와 아이템이 늘어날수록 유사도 계산이 늘어남

유저, 아이템이 많아야 정확한 예측을 하지만 반대로 시간이 오래걸린다는 문제점.

 

3. Long-tail 추천의 한계

: 많은 유저들이 선호하는 소수의 아이템이 보통 CF 추천 결과로 나타나게 된다.롱테일을 이루는 한마디로 별로 유명하지 않은?아이템에 대해서는 추천되기 어려움!

 

-> TopK추천은 아니지만 어느정도 유저가 소비해야 데이터가 쌓이고 추천이 되기 때문에 

Long-tail 추천의 한계가 발생하는 것

 

---

오늘은 CF(Collaborative Filtering)의 이모저모에 대해 글을 써보았는데요!

글을 정리하면서도 이해가 되지 않는 부분이 있어..

다시한번 보면서 공부해보려고 합니다!

 

많은 도움이 되셨길 바라며

그럼 오늘도 좋은하루 보내세요:)

 

끝!

+ 이해를 돕기 위한 그림..