[텍스트 분석] 5. 토픽 모델링 (Topic Modeling)

추천시스템을 공부하면서 LDA(Latent Dirichlet Allocation)에 대해 포스팅을 했었는데요!

2022.01.30 - [머신러닝 | 딥러닝/추천시스템] - [K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천

[K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천

오늘은 python을 사용해서 뉴스그룹 데이터 세트를 이용해 LDA를 적용해보려고 합니다!

---

토픽 모델링

 

: 토픽 모델링(Topic Modeling)이란 문서 집합에 숨어 있는 주제를 찾아내는 것입니다.

사람이 수행하는 토픽 모델링은 더 함축적인 의미로 문장을 요약하는 것에 반해, 머신러닝 기반 토픽 모델은 숨겨진 주제를 효과적으로 표현할 수 있는 중심 단어를 함축적으로 추출합니다.

 

머신러닝 기반 토픽 모델링에 자주 사용되는 기법은 LSA(Latent Semantic Analysis)와 LDA(Latent Dirichlet Allocatoin)입니다.

 

 

실습

 

20뉴스그룹 데이터는 20개의 주제를 가진 데이터를 갖고 있는데 이중 특정 8개의 주제를 추출해서 사용해보겠습니다.

 

1. 패키지 임포트 & 사이킷런 내장데이터(20뉴스그룹 데이터) 불러오기

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation

 

2. 카운트 기반 피처 벡터화

#모토사이클, 야구, 그래픽스, 윈도우즈, 중동, 기독교, 전자공학, 의학 8개 주제를 추출
cats = ['rec.motorcycles', 'rec.sport.baseball', 'comp.graphics', 'comp.windows.x', 'talk.politics.mideast', 'soc.religion.christian', 'sci.electronics', 'sci.med']

#위에서 cats변수로 기재된 카테고리만 추출, fetch_20newsgrouops()의 categories에 cats입력
news_df = fetch_20newsgroups(subset='all', remove=('headers', 'footers', 'quotes'), categories=cats, random_state=0)

#LDA는 Count기반의 벡터화만 적용합니다.
count_vect = CountVectorizer(max_df=0.95, max_features=1000, min_df=2, stop_words='english', ngram_range=(1,2))
fect_vect = count_vect.fit_transform(news_df.data)
print(fect_vect)
print(fect_vect.shape)

7862개의 문서가 1000개의 피처로 구성된 행렬 데이터로 변환됨..!

 

 

3. LDA 토픽 모델링 수행

: n_components은 추출하고자 하는 토픽의 수를 지정하면 됩니다.  결과로 components_는 개별 토픽별로 각 word피처가 얼마나 많이 해당 토픽에 할당됐는지에 대한 수치를 가지고 있습니다. 높은 값일수록 해당 word피처는 그 토픽의 중심 word가 됩니다.

lda = LatentDirichletAllocation(n_components=8, random_state=0)
lda.fit(fect_vect)

print(lda.components_.shape)
lda.components_

components_는 array[8, 1000]으로 구성돼 있습니다.

8개의 토픽별로 1,000개의 word 피처가 해당 토픽별로 연관된 값을 갖고있습니다.

 

예를들어 components_의 0번째 row(행), 10번째 column(열)에 있는 값은 피처 벡터화된 행렬에서 10번째 컬럼에 해당하는 피처가 Topic #0에 연관된 수치값입니다.

 

 

4. 각 topic별 대표 단어 출력

def display_topics(model, feature_names, no_top_words):
    for topic_index, topic in enumerate(model.components_):
        print('Topic #', topic_index)

        #components_ array에서 가장 값이 큰 순으로 정렬했을 때, 그 값의 array인덱스를 반환.
        topic_word_indexes = topic.argsort()[::-1]
        topic_index=topic_word_indexes[:no_top_words]

        #top_indexes대상인 인덱스별로 feature_names에 해당하는 word feature 추출 후 join concat
        feature_concat = ' '.join([feature_names[i] for i in topic_index])
        print(feature_concat)

#CountVectorizer객체 내의 전체 word의 명칭을 get_feature_names()을 통해 추출
feature_names = count_vect.get_feature_names()

#토픽별 가장 연관도가 높은 word를 15개만 추출
display_topics(lda, feature_names, 15)

Topic #0의 경우 의학에 관련된 주제어가 추출된 것을 예상할 수 있습니다.

Topic #1의 경우 명확하지 않고 일반적인 단어가 주를 이루고 있습니다.

Topic #2는 컴퓨터 그래픽스 영역의 주제어가 추출됐고

Topic #3의 경우는 일반적인 단어가 추출됐습니다.

Topic #4는 중동과 관련된 단어가 추출됐고

Topic #5는 컴퓨터 그래픽스 영역의 주제어가 일부 추출됐습니다.

Topic #6는 기독교와 관련된 단어가 추출됐고,

Topic #7는 윈도우 운영체제와 관련된 단어가 추출됐습니다.

 

Topic #1, Topic #3, Topic #5가 애매한 주제어가 추출됐습니다. 특히 모터사이클, 야구 주제의 경우 명확한 주제어가 추출되지 않았습니다..!