[K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천

오늘 포스팅에서는 빠르고 실용적인 추천 기법들에 대해 소개해보려고 합니다!

유명하진 않지만 실제로 비즈니스/서비스에서 많이 사용되는 모델들이니 잘 공부해놓으시면 도움이 될 것이라고 생각합니다ପ(´‘▽‘｀)ଓ♡⃛

 

1. LDA

2. 임베딩과 Word2Vec->Item2Vec

3. Multi-Armed Bandit

 

이 세가지에 대해 앞으로 차례대로 포스팅 해볼 계획입니다!

---

LDA를 이용한 추천

 

: Latent Dirichlet Allocatioin

 

토픽 모델링은 문서의 집합에서 토픽을 추출하는 포르세스로

가장 대표적인 알고리즘이 LDA이다!

LDA는 주어진 문서와 각 문서가 어떤 토픽을 가지는지 확률모형을 통해 표현하며

토픽별 단어의 분포, 문서의 토픽의 분포를 디리클레 분포로 가정하고 풀어낸다.!

토픽 A,B,C에 대해 확률로 표현

이 문서에 4가지 토픽이 있다고 가정할 때, 왼쪽에 1) 각 네가지 토픽의 단어분포가 나타나있다 / 2) 오른쪽에 막대그래프에서는 이 문서의 토픽 분포가 나타나있다.

LDA는 

1) 각 토픽의 단어 분포 => 각 토픽별 단어분포들의 확률 합은 1

2) 각 문서의 토픽 분포

이 두가지를 디리클레 분포로 가정하고 추정한다.

 

* 디리클레 분포 (Dirichlet Distribution)

: 벡터의 요소가 양수이며 모든 요소를 더한 값이 1인 경우 정의됨

한 토픽에 단어가 100만개 있다면 100만차원의 디디클레 분포로 나타남

한 토픽이 세개단어로 이루어져있을 때 3차원의 디디클레 분포로 나타남 / 디디클레 분포의 합은 1이며 확률이 높게 나타나는 단어의 등장 확률이 높다는 의미(?)

 

LDA 예시

 

문서1 : 나는 추천을 공부한다

문서2 : 나는 영화 아이언맨을 봤다

문서3 : 추천을 통해 영화를 봤다

 

1) 문서의 토픽 분포

문서1 : topic A 100%

문서2 : topic B 100%

문서3 : topic A 60%, topic B 40%

 

2) 토픽의 단어 분포

topic A : 나는 10%, 추천을 40%, 공부한다 25%, 영화 5%, 아이언맨을 5%, 봤다 10%, 통해 5%

topic B : 나는 10%, 추천을 10%, 공부한다 5%, 영화 25%, 아이언맨을 30%, 봤다 15%, 통해 5%

 

---

오늘은 LDA에 대해 간단하게 LDA에 대해 포스팅해보았습니다.

다음 포스팅에서는 LDA의 생성과정에 대해 자세하게 공부해보도록 하겠습니당~_~