[텍스트 분석] 4-1. 지도학습 기반 감성 분석 - IMDB영화평

텍스트 분석에서 전처리부터 BOW까지 공부를 해보았는데요!

이제 직접 데이터를 가지고 실습을 해보려고 합니다.

 

감성분석이란?

 

: 문서의 주관적인 감성/의견/감정/기분 등을 파악하기 위한 방법이다. 문서의 글자가 나타내는 여러 주관적인 단어와 문맥을 기반으로 감성 수치를 계산하는 방법을 이용한다. 감성 수치를 긍정/부정 지수로 구분지어 각 지수를 합산하여 긍정 또는 부정 감성을 결정한다.

 

1. 지도학습 감성분석 : 학습 데이터와 타깃 레이블 값을 기반으로 감성 분석 학습을 수행한 뒤 이를 기반으로 감성 분석 학습을 수행한 뒤 이를 기반으로 다르 데이터의 감성을 예측하는 방법

 

2. 비지도학습 감성분석 : 'Lexicon'이라는 감성 어휘사전을 이용. 감성 분석을 위한 용어와 문맥에 대한 정보를 파악해 문서의 긍정/부정을 판단

 

오늘은 먼저 지도학습 기반 감성분석 실습을 해보겠습니다.

---

지도학습 기반 감성분석 실습 - IMDB 영화평

https://www.kaggle.com/c/word2vec-nlp-tutorial/data

Bag of Words Meets Bags of Popcorn | Kaggle

캐글에 있는 IMDB 영화평을 기반으로 실습을 진행해보겠습니다!

우선 위 링크에서 데이터 셋을 다운 받아준다.

 

실습

 

1. 데이터셋 불러오기 및 데이터 확인

import pandas as pd
review_df=pd.read_csv("labeledTrainData.tsv", header=0, sep="\t", quoting=3)
review_df.head()
print(review_df['review'][0])

~로드된 데이터 셋의 피처

- ID : 데이터 id

- sentiment : 영화평의 sentiment 결과 값( target label ). 1은 긍정, 0은 부정적 평가를 의미

- rivies : 영화평의 텍스트

 

 

2. 데이터 사전 처리 html태그 제거 미치 숫자문자 제거

import re
review_df['review'] = review_df['review'].str.replace('<br />',' ')
review_df['review'] = review_df['review'].apply(lambda x : re.sub("[^a-zA-Z]"," ",x))

텍스트 값을 확인할 때 HTML형식에서 추출해 <br />태그가 존재하는 경우가 있을 때는 삭제하는 것이 좋다. 따라서 replace함수를 이용하여 html태그를 공백으로 바꿔 주었다.

 

또한 영어가 아닌 특수 문자 등은 피처로써의 의미가 없기 때문에 공백으로 변화해주었다.

여기서 [^a-zA-Z]의 의미는 영어 대/소문자가 아닌 모든 문자를 찾는 것이고 해당 이미지에서는 영어가 아닌 문자를 찾아 공란으로 바꿈!

 

 

3. 학습/테스트 데이터 분리

from sklearn.model_selection import train_test_split
class_df = review_df['sentiment']
feature_df = review_df.drop(['id','sentiment'], axis = 1, inplace=False)

# train/test분리
X_train, X_test, y_train, y_test = train_test_split(feature_df, class_df, test_size = 0.3, random_state = 156)

train_test_split 모듈을 이용하여 데이터 셋을 훈련데이터와 테스트데이터로 분할해주었다.

 

 

4. 모델생성

from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, roc_auc_score

 

BOW의 피처 벡터화 두가지 방법

1. 카운트 기반 벡터화 : 빈도수가 높은 단어를 중요도 높게 생각 

2. TF-IDF 기반 벡터화 : 빈도수가 높은 단어를 중요도 높게 생각하지만, 모든 문서에 보편적으로 많이 사용되는 단어에 대해서는 패널티를 부과.

 

~COUNT 기반 벡터화~

pipeline = Pipeline([
    ('cnt_vect', CountVectorizer(stop_words = 'english', ngram_range=(1,2))),
    ('lr_clf',LogisticRegression(C = 10))])

pipeline.fit(X_train['review'], y_train)
pred = pipeline.predict(X_test['review'])

pred_probs = pipeline.predict_proba(X_test['review'])[:,1]
print(accuracy_score(y_test, pred), roc_auc_score(y_test, pred_probs))

1. 스톱워드는 english, ngram은 (1,2)로 설정해 CountVectorization을 수행

2. pipeline을 통해 fit, predict

3. 리뷰 텍스트를 피터 벡터화한 후, 분류 알고리즘을 적용하여 예측 성능을 측정

4. pipeline객체를 이용하여 피처 벡터화와 로지스틱회귀모델을 한번에 수행

 

예측정확도와 ROC는 0.89, 0.95로 높게 측정됨

 

 

~TFIDF 기반 벡터화~

pipeline = Pipeline([
    ('tfidf_vect',TfidfVectorizer(stop_words = 'english', ngram_range=(1,2)) ),
    ('lr_clf',LogisticRegression(C= 10))])

pipeline.fit(X_train['review'], y_train)
pred = pipeline.predict(X_test['review'])

pred_probas = pipeline.predict_proba(X_test['review'])[:,1]

print(accuracy_score(y_test, pred), roc_auc_score(y_test,pred_probas))

1. Count기반 벡터화와 동일한 조건으로 Tfidf벡터를 이용한 모델 생성

2. 예측정확도와 ROC 모두 조금씩 증가함