2022.02.20 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(2). 텍스트 전처리 - 불용어 제거 저번 불용어 제거 포스팅에 이어서 Stemming & Lemmatization에 대해 적어보려고 합니다! 1. Cleansing(클렌징) 2. Tokenization(토큰화) 3. 필터링 / stopwords(불용어) 제거 / 철자 수정 4. Stemming & Lemmatization(어근 추출) 4. Stemming과 Lemmatization : Stemming과 Lemmatization은 단어의 원형을 찾아주는 작업을 한다! *둘의 차이는 정교함의 차이와 이에 따르 작업 수행 속도의 차이.. 예를들어 영어 단어 work는 과거형으로 worked, 3인칭 단수일 때는 works, ..
