[K-Data x 러닝스푼즈] 2-1. 컨텐츠 기반 추천(CB), TF-IDF

# 컨텐츠 기반 추천?

: CB(Content-based Recommendation)

 

유저 A라는 사람이 과거에 선호한 아이템의 메타데이터를 가지고 비슷한 아이템을 유저 A에게 추천한다.

 

=> 아이템의 메타데이터의 예)

- 영화 : 배우, 감독, 영화장르

- 음악 : 아티스트, 장르, 리듬, 무드

- 블로그 / 뉴스 : 비슷한 주제나 내용을 가진 텍스트(문장, 단어)

- 사람 : 공통의 친구를 많이 가진 다른 사람

 

유저가 선호(Like)하는 아이템을 기반으로 해당 아이템과 유사한 아이템을 추천

# Item Profile

추천 대상이 되는 아이템의 Profile을 만들어야한다.

Profile은 아이템이 가지고 있는 특징들로 구성되있는데 이 속성들을 Vector형태로 표현한다.

 

* 문서의 경우

Item Profile : 중요한 단어들의 집합으로 표현

단어에 대한 중요도를 나타내는 스코어가 필요!

단어w가 문서d에 많이 등장하면서(Term Frequency) 
단어 w가 문서 전체에서는 적게 등장(Inverse Documnet Frequency)

 

=> 특정 문서에 많이 등장하면서 다른 문서에 적게 등장해야된다는 의미

=> 단어 w는 문서 d를 설명하는 중요한 피쳐가 됨 /  TF-IDF 값이 높음!

 

* TF-IDF

1) TF 

: 단어 w가 문서 d에 등장하는 횟수

=> TF가 크다면 단어 w는 문서d를 잘 설명하고 있다는 것

 

 

2) IDF 

: 전체 문서 가운데 단어 w가 등장한 비율의 역수

IDF값의 변화가 크기 때문에 smoothing을 위해 로그함수를 사용

=> IDF가 작아야 좋음(?) 희귀한 단어..예를들어 조사?가 아님

 

TFIDF(w,d) = TF(w,d)*IDF(w)

 

* TF-IDF 예시

이러한 데이터셋에서 TF-IDF를 구해보면!

d1~d4 : 문서 / w1-w6 : 단어

각각 표의 숫자들은 등장횟수 즉 TF를 의미한다.

 

TF-IDF(w,d) = TF(w,d) * IDF(w)이므로

IDF(w)를 구해보면

각 단어가 총 문서에서 몇번 등장하는지에 대한 IDF값을 구할 수 있다!

 

이후 TF값과 IDF값을 곱해주면 

TFIDF(w2,d1) = 2*log(4/1) = 1.2

TFIDF(w3,d1) = 1*log(4/3) = 0.12

TFIDF(w4,d1) = 3*log(4/4) = 0.0

이런 식으로 TFIDF값을 구할 수 있게된다.

=> 문서 내에 등장하는 단어의 개수가 총 6개인 경우, 문서를 표현하는 item profile vector는 6차원 vector가 된다

 

# User Profile

유저가 과거에 선호했던 아이템 리스트(각각 TF-IDF로 벡터화됨)의 벡터들이 결국 User Profile이 된다!

 

유저 프로파일 벡터를 어떻게 구하냐?

다음 구해진 TF-IDF를 활용해서 유저 프로파일벡터를 계산할 수 있는데

유저가 d1, d3를 선호했다면 

User vector = (Vd1+Vd3) / 2 이렇게 계산할 수 있다!

 

# Cosine Similarity

: 두 벡터사이의 유사도를 계산하는것, 직관적으로 두 벡터가 가리키는 방향이 얼마나 유사한지를 의미

 

두 벡터의 방향이 비슷할수록 1에 가까움 / 방향이 정반대인 경우 -1에 가까움

---

자 이제 유저에게 추천을 해보자

 

User Vector u, Item Vector i에 대해서 

코사인 유사도가 클수록 해당 아이템이 유저에게 관련성이 높다고 판단.

---

만약 유저 u가 i에 대해 가질 선호도(평점)을 정확하게 예측하고 싶다면 ? 

 

User Vector를 따로 구하지 않고, 유저가 선호도를 표시한 모든 Item Vector를 활용.

 

유저 u가 선호하는 아이템(I)의 아이템벡터(V), 평점은 r이라고 할때

새로운 아이템 I'에 대해서 평점을 예측하고 싶다면

각각의 아이템과 새로운 아이템인 i' 간의 코사인 유사도를구한 후

가중평군을 구하여 i'의 평점을 추론한다.

당연히 특정 아이템과의 유사도가 높다면!

평점이 더해질 때 특정아이템의 평점이 더 큰 가중치로 더해지겠죠(?)

 

* 평점예측 예시

특정 유저에 대해서 선호한 영화가 3개 있을 때,

m1(선호하는 영화1) : rm1=3.0, vm1(아이템벡터1)=[0.2, 0.4, 1.2, 1.5]

m2(선호하는 영화2) : rm2=2.5, vm2(아이템벡터2)=[0.4, 0.7, 0.3, 0.5]

m3(선호하는 영화3) : rm3=4.0, vm3(아이템벡터3)=[0.3, 1.2, 1.0, 1.0]

 

예측하려는 영화 m4의 아이템벡터 vm4=[0.4, 1.4, 3.1, 1.0]이라면,

우선 유사도를 각각 아이템별로 구해준 후에 이를 가중치로 활용해 평점을 더해준다

 

sim(m4, m1) = cos(vm4, vm1) = 0.83

sim(m4, m2) = cos(vm4, vm2) = 0.72

sim(m4, m3) = cos(vm4, vm3) = 0.88

3.2는 영화 m4의 예측된 평점

---

이렇게 오늘은 고객이 선호하는 아이템의 아이템벡터를 활용하여 평점을 예측하는

컨텐츠기반 추천(CB)를 다뤄봤는데!

쉽게 이해되셨길 바라며~!

 

오늘의 포스팅 끗>_<