🏁 머신러닝 | 딥러닝

Clustering Evaluation 군집화 데이터셋에서는 대부분 타깃 레이블이 존재하지 않기 때문에 군집의 성능을 평가하기 위한 방법으로 실루엣 분석을 사용한다. Silhouette analysis 실루엣 분석이란 각 군집간의 거리가 얼마나 효율적으로 분리되어있는지를 나타낸다. 효율적으로 분리되어 있는 것은 다른 군집과는 거리가 멀고, 동일 군집 내에서는 서로 가깝게 잘 뭉쳐있다는 것을 의미한다. 실루엣 계수는 -1~1 사이의 값을 가지며, 1에 가까울 수록 근처의 군집과 더 멀리 떨어져 있는 것을 의미, 0에 가까울수록 근처 군집과 가까워진다는 것을 의미한다. -값은 아예 다른 군집에 데이터 포인트가 할당됐음을 의미한다. * 좋은 군집화 조건 - 전체 실루엣 계수의 평균값, 즉 사이킷런의 silho..

코드 from konlpy.tag import Twitter twitter=Twitter() 오류 UserWarning: "Twitter" has changed to "Okt" since KoNLPy v0.4.5. warn('"Twitter" has changed to "Okt" since KoNLPy v0.4.5.') 위의 코드를 실행하면 Twitter는 KoNLPy 버전 0.4.5.부터 Okt로 바뀌었다는 warning이 나온다! 사실 warning이기 때문에 코드는 실행되긴 하지만 Okt패키지를 실행해주고 Twitter대신 Okt패키지를 사용해서 분석하면 경고문이 발생하지 않는다. 해결 from konlpy.tag import Okt okt = Okt() Okt로 패키지를 바꾸고 나서도 다음 코드가..

한글 NLP 처리의 어려움 영어의 경우 띄어쓰기를 잘못하면 잘못된 단어 또는 없는 단어로 인식됩니다. 하지만 한글의 경우, '아버지가 방에 들어가신다'를 잘못 띄어쓰기하면 '아버지 가방에 들어가신다'가 되어 의미가 왜곡되게 됩니다. 또한 주어나 목적어를 위해 추가되는 조사의 경우 전처리를 할때 제거하기가 까다롭습니다. '너희 집은 어디 있니?'에서 '집은'의 '은'이 뜻하는 것이 조사인지 아니면 금은동할때 은인지 구분하기가 어렵습니다. 띄어쓰기가 잘못돼어 '집 은'으로 쓴 경우 더욱 그렇습니다..! 이러한 문제들 때문에 한글 언어 처리가 라틴어 처리보다 어렵다고 합니다. 실습 KoNLPy는 파이썬의 대표적인 한글 형태소 패키지입니다. KoNLPy는 자바 형태소 분석 엔진을 래퍼한 것이기 때문에 Java설..

항상 기본 글씨체만 사용하다가 글씨체를 변경해보고 싶어서 변경해보았습니다..! 넘나 귀요븜... 1. 사이트에서 원하는 글씨체를 선택해줍니당 https://noonnu.cc/ 눈누 상업용 무료한글폰트 사이트 noonnu.cc 임베딩에 체크하고 골라주셔야됩니담 2. 웹폰트로 사용에서 코드를 복사해주세요. 3. 본인의 티스토리 홈의 설정에서 스킨편집에 들어가줍니다. 4. html편집 클릭 5. HTML이 아닌 CSS에 들어가줌! @charset "UTF-8"; 바로 뒷부분에 복사했던 코드를 붙여넣습니당 밑에도 font-family 뒤에있는 글자를 'GowunDodum-Regular'로 바꿔주어야하는데요 만약 찾기 힘들다면 'Ctrl+F'를 눌러 font-family를 검색하고 바꿔주어도 됩니당!! 적용 누르..

2022.01.14 - [머신러닝 | 딥러닝/추천시스템] - [K-Data x 러닝스푼즈] 2-1. 컨텐츠 기반 추천(CB), TF-IDF [K-Data x 러닝스푼즈] 2-1. 컨텐츠 기반 추천(CB), TF-IDF # 컨텐츠 기반 추천? : CB(Content-based Recommendation) 유저 A라는 사람이 과거에 선호한 아이템의 메타데이터를 가지고 비슷한 아이템을 유저 A에게 추천한다. => 아이템의 메타데이터의 예) - 영화 : 배 xod22.tistory.com CB에 대한 이론은 다뤄보았는데 이번엔 직접 데이터를 활용하여 컨텐츠 기반 추천(CB)를 실습해보려고 합니다! CB(Content-based Recommendation) : 먼저 실습에 앞서 간단하게 다시 CB(Content-..

추천시스템을 공부하면서 LDA(Latent Dirichlet Allocation)에 대해 포스팅을 했었는데요! 2022.01.30 - [머신러닝 | 딥러닝/추천시스템] - [K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천 [K-Data x 러닝스푼즈] 4-1. LDA를 이용한 추천 오늘 포스팅에서는 빠르고 실용적인 추천 기법들에 대해 소개해보려고 합니다! 유명하진 않지만 실제로 비즈니스/서비스에서 많이 사용되는 모델들이니 잘 공부해놓으시면 도움이 될 것이라고 xod22.tistory.com 오늘은 python을 사용해서 뉴스그룹 데이터 세트를 이용해 LDA를 적용해보려고 합니다! 토픽 모델링 : 토픽 모델링(Topic Modeling)이란 문서 집합에 숨어 있는 주제를 찾아내는 것입니다. 사람..

2022.02.26 - [머신러닝 | 딥러닝/텍스트 분석] - [텍스트 분석] 4-(1). 지도학습 기반 감성 분석 - IMDB영화평 [텍스트 분석] 4-(1). 지도학습 기반 감성 분석 - IMDB영화평 텍스트 분석에서 전처리부터 BOW까지 공부를 해보았는데요! 이제 직접 데이터를 가지고 실습을 해보려고 합니다. 감성분석이란? : 문서의 주관적인 감성/의견/감정/기분 등을 파악하기 위한 방법 xod22.tistory.com 지도학습기반 감성분석에 이어 비지도 학습기반 감성분석 실습을 해보려고 합니다! 비지도 학습 기반 감성 분석 : 비지도 감성분석은 Lexicon을 기반으로 한다. Lexicon은 일반적으로 어휘집을 의미하는데, 여기서는 주로 감성만을 분석하기 위해 지원하는 감성 어휘 사전이다. 감성사..

텍스트 분석에서 전처리부터 BOW까지 공부를 해보았는데요! 이제 직접 데이터를 가지고 실습을 해보려고 합니다. 감성분석이란? : 문서의 주관적인 감성/의견/감정/기분 등을 파악하기 위한 방법이다. 문서의 글자가 나타내는 여러 주관적인 단어와 문맥을 기반으로 감성 수치를 계산하는 방법을 이용한다. 감성 수치를 긍정/부정 지수로 구분지어 각 지수를 합산하여 긍정 또는 부정 감성을 결정한다. 1. 지도학습 감성분석 : 학습 데이터와 타깃 레이블 값을 기반으로 감성 분석 학습을 수행한 뒤 이를 기반으로 감성 분석 학습을 수행한 뒤 이를 기반으로 다르 데이터의 감성을 예측하는 방법 2. 비지도학습 감성분석 : 'Lexicon'이라는 감성 어휘사전을 이용. 감성 분석을 위한 용어와 문맥에 대한 정보를 파악해 문서의..