[K-Data x 러닝스푼즈] 4-1. LDA의 생성과정

LDA의 생성과정

 

1. 토픽 개수 K를 설정

: 토픽은 모든 문서에 분포되어 있음!

 

2. 문서에 있는 모든 단어를 K개 중 하나에 토픽에 랜덤으로 할당

: 만약 한 단어가 한 문서에 두 번 이상 등장한다면 각 단어는 서로 다른 토픽에 할당될 수도 있음

토픽 랜덤 할당 : 같은 단어라도 한 문서에서 다른 토픽에 할당될 수도 있음

3. 각 문서의 개별 단어에 대해서 다음 계산을 반복한다.

단어 하나의 topic을 모른다고 가정하고

문서 1(doc1) 중에 A가 나타날 확률 = 2/4 = 0.5
문서 전체에서 A라는 topic을 골랐을 때 cat이 나올 확률 = 1/6 = 0.167
=> 두 값을 곱해서 cat에 A가 할당될 확률을 구함! =0.0835

문서 1(doc1) 중에 B가 나타날 확률 = 2/4 = 0.5
문서 전체에서 B라는 toopic을 골랐을 때 cat이 나올 확률 = 3/8 = 0.375
=> 두 값을 곱해서 cat에 B가 할당될 확률을 구함! =0.1875

A와 B의 확률을 비교해서 더 큰 값을 가지는 토픽으로 재할당

 

최적의 토픽 수 찾기

 

LDA의 토픽 수는 사용자가 지정하는 파라미터값(하이퍼파라미터)이다.

=> 최적의 토픽 수를 구하는데 Perplexity라는 지표를 사용한다

 

학습이 진행되면서 Perplexity는 감소하다가 일정 지점이 지나면 수렴한다.

Perplexity가 낮은 토픽 수 K를 최적의 토픽수로 삼는 것이 일반적임!

 

* Perplexity 

: 우리가 만든 확률 모델이 지금 주어진 데이터에 대해서 확률모델(디리클렛분포)가 학습됬던 데이터를 잘 예측하는지~

 

LDA를 추천에 적용한다면?

 

* 이 방법은 거의 아이디어성에 가깝고 실제로는 추천에 엄청 활용하진 않음..!(꼼수같은 방법이라..!) 근데 장점이 있음(?)

실제로 카카오에서도 MF와 LDA를 활용한다..!

 

'유저'->'문서', '아이템'->'단어'로 두고 LDA모델을 학습한다.

 

각각의 유저는 토픽 분포를 갖게된다!

예) 컴퓨터 30%, 화장품 70%..이런식(?)

 

각각의 토픽별로 아이템 분포가 생긴다

예) 컴퓨터(토픽) -> 마우스20% 키보드 30%..

 

유저가 특정 토픽에 관심도가 높다면 그 토픽에 속한 연관도 높은 아이템을 추천!

 

LDA를 활용한 Top N 추천

 

방법1. 유저-아이템에 대한 스코어

=유저에 할당된 토픽의 확률 * 토픽이 아이템을 생성하는 확률

 

예시 ) k개 토픽에 대해서 각각 유저-아이템 스코어를 구한 뒤 가장 높은 스코어를 가지는 아이템 N개를 추천한다.

가장 높은 Top1을 추천함 : 1번 아이템 추천

=> 단점 : 아이템이 100만개라면? 계산량이 어마무시 해진다..!

 

사실 이렇게 하는 것보다 카카오에서 봤던 아이디어는 

방법 2. 빠른 서빙

1. 유저별로 가장 높은 확률을 가지는 토픽을 할당

-> 유저의 토픽 분포[토픽A, 토픽B]=[0.2, 0.8] 이라면 높은 확률을 가지는 토픽B를 할당

 

2. 개별 토픽에 대해 가장 확률이 높은 아이템 Top N개를 미리 준비

-> 토픽B가 만약 컴퓨터라면 토픽B가 할당되었을 때 가장 확률이 높은 아이템 Top N개(키보드, 마우스)를 미리 준비한다는 의미

 

3. 유저에게 추천을 제공할 때, 유저의 토픽을 확인(어..토픽B네..?)하고 해당 토픽에 있는 Top N 아이템을 추천

-> 별도의 연산이 필요하지 않음, 유저의 토픽 할당과 토픽의 Top N 아이템만 업데이터하면 됨

 

---

오늘 포스팅을 통해 모두 LDA 마스터가 되셨길 바라며..ღゝ◡╹)ノ♡

끝!