🏁 머신러닝 | 딥러닝/텍스트 분석

코드 from konlpy.tag import Twitter twitter=Twitter() 오류 UserWarning: "Twitter" has changed to "Okt" since KoNLPy v0.4.5. warn('"Twitter" has changed to "Okt" since KoNLPy v0.4.5.') 위의 코드를 실행하면 Twitter는 KoNLPy 버전 0.4.5.부터 Okt로 바뀌었다는 warning이 나온다! 사실 warning이기 때문에 코드는 실행되긴 하지만 Okt패키지를 실행해주고 Twitter대신 Okt패키지를 사용해서 분석하면 경고문이 발생하지 않는다. 해결 from konlpy.tag import Okt okt = Okt() Okt로 패키지를 바꾸고 나서도 다음 코드가..

한글 NLP 처리의 어려움 영어의 경우 띄어쓰기를 잘못하면 잘못된 단어 또는 없는 단어로 인식됩니다. 하지만 한글의 경우, '아버지가 방에 들어가신다'를 잘못 띄어쓰기하면 '아버지 가방에 들어가신다'가 되어 의미가 왜곡되게 됩니다. 또한 주어나 목적어를 위해 추가되는 조사의 경우 전처리를 할때 제거하기가 까다롭습니다. '너희 집은 어디 있니?'에서 '집은'의 '은'이 뜻하는 것이 조사인지 아니면 금은동할때 은인지 구분하기가 어렵습니다. 띄어쓰기가 잘못돼어 '집 은'으로 쓴 경우 더욱 그렇습니다..! 이러한 문제들 때문에 한글 언어 처리가 라틴어 처리보다 어렵다고 합니다. 실습 KoNLPy는 파이썬의 대표적인 한글 형태소 패키지입니다. KoNLPy는 자바 형태소 분석 엔진을 래퍼한 것이기 때문에 Java설..

추천시스템을 공부하면서 LDA(Latent Dirichlet Allocation)에 대해 포스팅을 했었는데요! 2022.01.30 - [머신러닝 | 딥러닝/추천시스템] - [K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천 [K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천 오늘 포스팅에서는 빠르고 실용적인 추천 기법들에 대해 소개해보려고 합니다! 유명하진 않지만 실제로 비즈니스/서비스에서 많이 사용되는 모델들이니 잘 공부해놓으시면 도움이 될 것이라고 xod22.tistory.com 오늘은 python을 사용해서 뉴스그룹 데이터 세트를 이용해 LDA를 적용해보려고 합니다! 토픽 모델링 : 토픽 모델링(Topic Modeling)이란 문서 집합에 숨어 있는 주제를 찾아내는 것입니다. 사람..

2022.02.26 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 4-(1). 지도학습 기반 감성 분석 - IMDB영화평 [텍스트 분석] 4-(1). 지도학습 기반 감성 분석 - IMDB영화평 텍스트 분석에서 전처리부터 BOW까지 공부를 해보았는데요! 이제 직접 데이터를 가지고 실습을 해보려고 합니다. 감성분석이란? : 문서의 주관적인 감성/의견/감정/기분 등을 파악하기 위한 방법 xod22.tistory.com 지도학습기반 감성분석에 이어 비지도 학습기반 감성분석 실습을 해보려고 합니다! 비지도 학습 기반 감성 분석 : 비지도 감성분석은 Lexicon을 기반으로 한다. Lexicon은 일반적으로 어휘집을 의미하는데, 여기서는 주로 감성만을 분석하기 위해 지원하는 감성 어휘 사전이다. 감성사..

텍스트 분석에서 전처리부터 BOW까지 공부를 해보았는데요! 이제 직접 데이터를 가지고 실습을 해보려고 합니다. 감성분석이란? : 문서의 주관적인 감성/의견/감정/기분 등을 파악하기 위한 방법이다. 문서의 글자가 나타내는 여러 주관적인 단어와 문맥을 기반으로 감성 수치를 계산하는 방법을 이용한다. 감성 수치를 긍정/부정 지수로 구분지어 각 지수를 합산하여 긍정 또는 부정 감성을 결정한다. 1. 지도학습 감성분석 : 학습 데이터와 타깃 레이블 값을 기반으로 감성 분석 학습을 수행한 뒤 이를 기반으로 감성 분석 학습을 수행한 뒤 이를 기반으로 다르 데이터의 감성을 예측하는 방법 2. 비지도학습 감성분석 : 'Lexicon'이라는 감성 어휘사전을 이용. 감성 분석을 위한 용어와 문맥에 대한 정보를 파악해 문서의..

2022.02.23 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(3). 텍스트 전처리 - Stemming과 Lemmatization [텍스트 분석] 2-(3). 텍스트 전처리 - Stemming과 Lemmatization 2022.02.20 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(2). 텍스트 전처리 - 불용어 제거 저번 불용어 제거 포스팅에 이어서 Stemming & Lemmatization에 대해 적어보려고 합니다! 1. Cleansing(클렌.. xod22.tistory.com 저번 포스팅에 이어서 텍스트 전처리 다음 프로세스인 Bag of Words(BOW)에 대해 공부해보려고 합니다! Bag of Words - BOW : BOW 모델은 문서가 가지는 ..

2022.02.20 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(2). 텍스트 전처리 - 불용어 제거 저번 불용어 제거 포스팅에 이어서 Stemming & Lemmatization에 대해 적어보려고 합니다! 1. Cleansing(클렌징) 2. Tokenization(토큰화) 3. 필터링 / stopwords(불용어) 제거 / 철자 수정 4. Stemming & Lemmatization(어근 추출) 4. Stemming과 Lemmatization : Stemming과 Lemmatization은 단어의 원형을 찾아주는 작업을 한다! *둘의 차이는 정교함의 차이와 이에 따르 작업 수행 속도의 차이.. 예를들어 영어 단어 work는 과거형으로 worked, 3인칭 단수일 때는 works, ..

이번 포스팅에서는 저번 글에 이어서 텍스트 전처리를 이어 적어보려고 한다! 2022.02.20 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 2-(1). 텍스트 전처리 - 클렌징, 토큰화 [텍스트 분석] 2-(1). 텍스트 전처리 - 클렌징, 토큰화 2022.02.19 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 1. 텍스트 분석의 이해 [텍스트 분석] 1. 텍스트 분석의 이해 프로젝트를 하면서 텍스트 분석을 접해볼 기회가 있었는데 완전한 이해를 xod22.tistory.com 1. Cleansing(클렌징) 2. Tokenization(토큰화) 3. 필터링 / stopwords(불용어) 제거 / 철자 수정 4. Stemming & Lemmatization 3. StopWord..