LDA

추천시스템을 공부하면서 LDA(Latent Dirichlet Allocation)에 대해 포스팅을 했었는데요! 2022.01.30 - [머신러닝 | 딥러닝/추천시스템] - [K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천 [K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천 오늘 포스팅에서는 빠르고 실용적인 추천 기법들에 대해 소개해보려고 합니다! 유명하진 않지만 실제로 비즈니스/서비스에서 많이 사용되는 모델들이니 잘 공부해놓으시면 도움이 될 것이라고 xod22.tistory.com 오늘은 python을 사용해서 뉴스그룹 데이터 세트를 이용해 LDA를 적용해보려고 합니다! 토픽 모델링 : 토픽 모델링(Topic Modeling)이란 문서 집합에 숨어 있는 주제를 찾아내는 것입니다. 사람..

LDA의 생성과정 1. 토픽 개수 K를 설정 : 토픽은 모든 문서에 분포되어 있음! 2. 문서에 있는 모든 단어를 K개 중 하나에 토픽에 랜덤으로 할당 : 만약 한 단어가 한 문서에 두 번 이상 등장한다면 각 단어는 서로 다른 토픽에 할당될 수도 있음 3. 각 문서의 개별 단어에 대해서 다음 계산을 반복한다. 단어 하나의 topic을 모른다고 가정하고 문서 1(doc1) 중에 A가 나타날 확률 = 2/4 = 0.5 문서 전체에서 A라는 topic을 골랐을 때 cat이 나올 확률 = 1/6 = 0.167 => 두 값을 곱해서 cat에 A가 할당될 확률을 구함! =0.0835 문서 1(doc1) 중에 B가 나타날 확률 = 2/4 = 0.5 문서 전체에서 B라는 toopic을 골랐을 때 cat이 나올 확률 =..

오늘 포스팅에서는 빠르고 실용적인 추천 기법들에 대해 소개해보려고 합니다! 유명하진 않지만 실제로 비즈니스/서비스에서 많이 사용되는 모델들이니 잘 공부해놓으시면 도움이 될 것이라고 생각합니다ପ(´‘▽‘｀)ଓ♡⃛ 1. LDA 2. 임베딩과 Word2Vec->Item2Vec 3. Multi-Armed Bandit 이 세가지에 대해 앞으로 차례대로 포스팅 해볼 계획입니다! LDA를 이용한 추천 : Latent Dirichlet Allocatioin 토픽 모델링은 문서의 집합에서 토픽을 추출하는 포르세스로 가장 대표적인 알고리즘이 LDA이다! LDA는 주어진 문서와 각 문서가 어떤 토픽을 가지는지 확률모형을 통해 표현하며 토픽별 단어의 분포, 문서의 토픽의 분포를 디리클레 분포로 가정하고 풀어낸다.! LDA는 ..