[텍스트 분석] 2-3. 텍스트 전처리 - Stemming과 Lemmatization

2022.02.20 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(2). 텍스트 전처리 - 불용어 제거

저번 불용어 제거 포스팅에 이어서 Stemming & Lemmatization에 대해 적어보려고 합니다!

1. Cleansing(클렌징)
2. Tokenization(토큰화)
3. 필터링 / stopwords(불용어) 제거 / 철자 수정
4. Stemming & Lemmatization(어근 추출)

---

4. Stemming과 Lemmatization

 

: Stemming과 Lemmatization은 단어의 원형을 찾아주는 작업을 한다!

*둘의 차이는 정교함의 차이와 이에 따르 작업 수행 속도의 차이..

 

예를들어 영어 단어 work는 과거형으로 worked, 3인칭 단수일 때는 works, 그리고 진행형일 경우에는 working으로 바뀝니다! Stemming과 Lemmatization은 변형된 단어들의 원형을 찾아주는 역할을 한다.

 

이때 Lemmatization이 더 정교한 작업을 한다. 문법과 의미론적인 기반에서 단어의 원형을 찾기 때문에 정확한 어근을 찾는다.

하지만 Stemming같은 경우에는 더 단순화된 방식으로 변형된 단어를 원형 단어로 변환시키기 때문에 훼손된 어근 단어를 추출하는 경향이 있다.

 

이러한 차이점 때문에 Lemmatization은 작업을 하는데 더 오랜 시간이 걸린다!

 

 

~패키지 임포트~

from nltk.stem import LancasterStemmer

#Stemming작업을 하는 LancasterStemmer을 stemmer라고 지칭하겠다는 명령!
stemmer = LancasterStemmer()

 

~Stemming~

#stemmer.stem('단어')를 통해서 stemming(어근추출)후 print
print(stemmer.stem('working'), stemmer.stem('works'), stemmer.stem('worked'))
print(stemmer.stem('happiest'), stemmer.stem('happier'))
print(stemmer.stem('fancier'), stemmer.stem('fanciest'))
print(stemmer.stem('amuses'),stemmer.stem('amusing'), stemmer.stem('amused'))

1. LancasterStemmer로 Stemming작업을 시행했다.

2. work를 어근으로 하는 변형 동사들은 단순 변형이기 때문에 쉽게 원형을 찾지만 비교급이나 최상급에서는 원형을 정확히 찾아내지 못한 결과를 보여줌.

3. 본래 amuse가 원형이지만 anmuses, amusing, amused 모두 amus에 추가 단어들이 붙는 것이기 때문에 컴퓨터가 amus를 어근으로 추리한다..ㅜㅜ 

-> 즉 정교하지 못하고 훼손된 채 어근을 가져옴!

 

 

~다시 패키지 임포트~

from nltk.stem import WordNetLemmatizer
import nltk
nltk.download('wordnet')
nltk.download('omw-1.4')

# Lemmatization작업을 하는 WordNetLemmatizer을 lemma라고 지칭하겠다는 명령!
lemma = WordNetLemmatizer()

 

~Lemmatization~

# lemma.lemmatize('단어', '품사')를 통해서 Lemmatization(어근 추출) 후 print
print(lemma.lemmatize('amusing','v'), lemma.lemmatize('amuses','v'),lemma.lemmatize('amused','v'))
print(lemma.lemmatize('happier','a'), lemma.lemmatize('happiest','a'))
print(lemma.lemmatize('fancier','a'), lemma.lemmatize('fanciest','a'))

1. Lemmatization 작업은 단어 옆에 품사를 적어줘야한다. 동사는 v, 형용사는 a를 사용해준다!

2. Stemming에 비해 어근의 원형이 잘 추출된 것을 확인..!

 

---

지금까지 텍스트의 벡터값을 피처화하는 작업을 하기 이전에 거쳐야할 전처리 과정들에 대해 적어보았는데 어떠셨나요..

과정은 복잡하지만 하나하나 보니까 나름 간단한 원리를 가지고 있는 것 같습니다!

 

다음 포스팅에서는 텍스트 분석의 다음 단계인 텍스트를 벡터값을 가진 피처로 바꾸는 과정을 공부해보려고 합니다~_~

그럼 끝!