[텍스트 분석] 2-2. 텍스트 전처리 - 불용어 제거

이번 포스팅에서는 저번 글에 이어서 텍스트 전처리를 이어 적어보려고 한다!

2022.02.20 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(1). 텍스트 전처리 - 클렌징, 토큰화

[텍스트 분석] 2-(1). 텍스트 전처리 - 클렌징, 토큰화

1. Cleansing(클렌징)
2. Tokenization(토큰화)
3. 필터링 / stopwords(불용어) 제거 / 철자 수정
4. Stemming & Lemmatization

 

3. StopWords (불용어) 제거

 

: 의미없는 불필요한 단어를 제거하는 순서!

 

스톱워드(StopWord)는 분석에 큰 의미가 없는 단어를 지칭한다.

예를들어 is, the, a, will 등은 문법적으로 필요한 단어들이지만 문맥상 큰 의미가 없는 단어들이기 때문에 스톱 워드에 속한다. 이러한 단어들은 모든 텍스트에 빈번하게 나타나므로 만일 제거하지 않고 그대로 사용한다면, 기계가 다른 중요한 단어를 제쳐두고 이 단어들을 중요한 단어들로 생각할 수 있을 위험이 있다. 따라서 이 의미없는 단어들을 전처리 해줘야만 한다!

 

하지만 언어별로 스톱 워드의 종류가 다 다른데...

다행히도 언어별로 스톱 워드의 목록이 목록화 되어있다..!

NLTK 같은 경우 가장 다양한 언어의 스톱 워드를 제공한다.

 

import nltk

# 'english'언어의 불용어 목록을 가져옴
stopwords = nltk.corpus.stopwords.words('english')

all_tokens = []

for i in word_tokens:
    
    filltered_words = []
    
    for word in i:
        
        #소문자로 변환
        word=word.lower()
        
        #word가 불용어에 없다면 filltered_words에 추가
        if word not in stopwords:
            filltered_words.append(word)
            
    all_tokens.append(filltered_words)

print(all_tokens)

1. 앞선 포스팅에서 3개의 문장 별로 단어 토큰화시켰던 변수 word_tokens를 이용해서 각각의 단어에 대해 stopwords인지 판별하여 따로 all_tokens리스트에 저장한다.

 

2. 결과를 확인해보면 'The', 'is', 'this'..등등 같은 StopWords가 필터링 되었음을 확인할 수 있다!