[텍스트 분석] 4-2. 비지도 학습 기반 감성 분석

2022.02.26 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 4-(1). 지도학습 기반 감성 분석 - IMDB영화평

[텍스트 분석] 4-(1). 지도학습 기반 감성 분석 - IMDB영화평

지도학습기반 감성분석에 이어 비지도 학습기반 감성분석 실습을 해보려고 합니다!

---

비지도 학습 기반 감성 분석

 

: 비지도 감성분석은 Lexicon을 기반으로 한다.

Lexicon은 일반적으로 어휘집을 의미하는데, 여기서는 주로 감성만을 분석하기 위해 지원하는 감성 어휘 사전이다.

 

감성사전은 긍정(Positive) 또는 부정(Negative) 감성 정도를 의미하는 수치(감성지수)를 갖고있으며, 이는 단어의 위치나 주변단어, 문맥, POS(Part of Speech) 등을 참고해 결정된다.

 

이러한 감성 사전을 구현한 대표적 패키지가 NLTK이다. NLTK는 많은 서브 모듈을 갖고 있으며, Lexicon도 포함되어있다.

 

WordNet

 

: 감성사전을 이해하기 위해서는 먼저 WordNet을 알아야 한다.

WordNet모듈은 NLTK에서 제공하는 방대한 시맨틱 분석을 제공하는 어휘사전이다.

 

동일한 단어나 문장이라도 다른 환경, 문맥에서는 다르게 표현되거나 이해될 수 있다.

예를들어 영어 단어 'Present'는 선물이라는 의미도 있지만 현재라는 의미도 있다. 또한 우리말의 '밥 먹었어?'라는 표현은 단순히 식사를 했는지를 묻는 표현일 수도 있지만 안부를 묻는 표현일수도 있다..!

 

WordNet은 이렇게 같은 어휘라도 상황에 따라 다르게 사용되는 어휘의 시맨틱 정보를 제공한다..

 

NLTK에 포함된 감성사전

 

• SentiWordNet : NLTK패키지의 WordNet과 유사하게 감성단어 전용 WordNet을 구현한것으로 3가지 감성점수(sentiment score)를 적용한다

- 긍정 감성 지수 : 해당 단어가 감성적으로 얼마나 긍정적인가를 나타낸 수치

- 부정 감성 지수 : 해당 단어가 얼마나 감성적으로 부정적인가를 나타낸 수치

- 객관성 지수 :  긍정/부정 지수와 완전히 반대되는 개념으로 단어가 감성과 관계없이 얼마나 객관적인지를 나타낸 수치

 

• VADER : 소셜 미디어의 텍스트에 대한 감성 분석을 제공하기 위한 패키지로 뛰어난 감성 분석 결과를 제공하며, 비교적 빠르수행 시간을 보장해 대용량 텍스트 데이터에 잘 사용되는 패키지이다.
• Pattern : 예측 성능 측면에서 가장 주목받는 패키지이지만 파이썬 2.X버전에서만 동작한다.

=> SentiWordNet 감성 사전을 이용해 감성 분석을 수행해보겠습니다!

 

실습

 

1. 패키지 임포트

: SentiWordNet은 WrodNet기반의 synset을 이용하므로 먼저 WordNet의 synset에 대해 알아보겠습니다.

synset은 그 단어가 갖는 문맥, 시맨틱 정보를 제공하는 WordNet의 핵심 개념입니다.

 

먼저 NLTK의 모든 데이터 세트와 패키지를 내려받은뒤, WordNet의 synsets()를 사용헤 'present' 단어에 대한 synset 객체를 추출해보겠습니다!

import nltk
import pandas as pd
from nltk.corpus import wordnet as wn
nltk.download('all')

 

 

2. 'present'라는 단어로 synsets(어휘사전) 생성

synsets=wn.synsets('present')

print('synsets() 반환 type: ', type(synsets))
print('synsets() 반환 값 개수: ', len(synsets))
print('synsets() 반환 값: ', synsets)

총 18개의 서로 다른 의미를 갖는 synset 객체가 반환되었습니다.

Synset('present.n.01')과 같이 Synset 객체의 파라미터 'present.n.01'은 POS(Part Of Speech: 품사) 태그를 나타냅니다.

n은 명사 품사, 01은 present가 명사로서 여러 의미를 갖기 때문에 이를 구분하기 위한 인덱스 입니다.

 

for synset in synsets :
    print('##### Synset name: ', synset.name(),'#####') #synset 이름
    print('POS: ',synset.lexname()) #단어의 품사
    print('Definition: ',synset.definition()) #단어의 의미
    print('Lemmas: ',synset.lemma_names()) #단어의 부명제, 다르대체 단어

한 단어에 대해서 여러 의미를 표현하기 위해서 다양한 synsets들이 존재합니다. 이 synset 하나하나 품사와 정의 그리고 대체 단어들을 살펴볼 수 있습니다!

 

- Synset('present.n.01')과 Synset('present.n.02')는 명사지만 서로 다른 의미를 갖고 있습니다.

-Synset('present.n.01')은 POS가 noun.time이며 Definition을 살펴보면 '시간적인 의미로 현재'를 나타냅니다.

-Synset('present.n.02')는 POS가 noun.possession이며 Definition은 '선물'입니다.

 

이처럼 synset은 하나의 단어가 가질수 있는 여러 가지 시맨틱 정보를 개별 클래스로 나타낸 것입니다.

 

 

3. 어휘간의 유사도 확인

# 단어 생성
tree = wn.synset('tree.n.01')
lion = wn.synset('lion.n.01')
tiger = wn.synset('tiger.n.02')
cat = wn.synset('cat.n.01')
dog = wn.synset('dog.n.01')

 

synset객체의 path_similarity() 메소드를 사용해 'tree', 'lion', 'tiger', 'cat', 'dog' 단어의 상호 유사도를 살펴보겠습니다.

entities = [tree , lion , tiger , cat , dog]
similarities = []
entity_names = [ entity.name().split('.')[0] for entity in entities]

#단어별 synset 들을 iteration 하면서 다른 단어들의 synset과 유사도를 측정
for entity in entities:
    similarity = [round(entity.path_similarity(compared_entity), 2) for compared_entity in entities]
    similarities.append(similarity)
    
#개별 단어별 synset과 다른 단어의 synset과의 유사도를 DataFrame형태로 저장 
similarity_df = pd.DataFrame(similarities , columns=entity_names,index=entity_names)
similarity_df

 

4. SentiWordNet - 감성사전

: 보통 WordNet 사전보단 SentiWordNet 사전을 더 많이 사용

SentiWordNet도 WordNet Synset과 유사한 Senti_Synset 클래스를 가지고 있습니다!

SentiWordNet 모듈의 Senti_Synsets()도 Synsets()처럼 Senti_Synset클래스를 리스트 형태로 반환합니다.

import nltk
from nltk.corpus import sentiwordnet as swn

senti_synsets = list(swn.senti_synsets('slow'))
print('senti_synsets() 반환 type: ', type(senti_synsets))
print('senti_synsets() 반환 값 갯수: ', len(senti_synsets))
print('senti_synsets() 반환 값: ', senti_synsets)

총 11개의 서로 다른 의미를 갖는 Senti_Synset 객체가 반환되었습니다.

 

 

5. SentiWordNet - father/fabulous 비교

import nltk
from nltk.corpus import sentiwordnet as swn

father = swn.senti_synset('father.n.01')
print('father 긍정감성 지수: ', father.pos_score())
print('father 부정감성 지수: ', father.neg_score())
print('father 객관성 지수: ', father.obj_score())
print('\n')
fabulous = swn.senti_synset('fabulous.a.01')
print('fabulous 긍정감성 지수: ',fabulous .pos_score())
print('fabulous 부정감성 지수: ',fabulous .neg_score())

객관성 지수는 감성단어일 때 0, 감성단어가 아닌 객관적인 단어일때 1로 표현.

감성단어일 때(=0)는 대신 긍정감성 지수/부정감성 지수로 긍정/부정이 표현됨!

 

-father은 객관적인 단어로 객관성 지수가 1.0이고, 긍정 감성/부정 감성 지수 모두 0입니다.

-fabulous는 감성단어로서 긍정 감성 지수가 0.975, 부정 감성 지수가 0.125입니다.