🏁 머신러닝 | 딥러닝/추천시스템

이번 포스팅에서는 Implicit Feedback데이터를 활용해 MF를 학습할 수 있는 논문의 기법에 대해 소개해보려고 합니다! 베이지안 추론에 기반하고 있으며 접근이 재밌고 기발해서 유명해진 방법이라고 합니다! Introduction 1) 사용자의 클릭, 구매 등의 로그는 Implicit Feedback 데이터 2) binary(0/1)로 이루어져있음 -> 선호도를 고려하지 않고 일반적으로 유저가 아이템을 클릭/구매 할 확률을 예측하는 문제 3) 유저가 item i보다 j를 좋아한다면? 이라는 정보를 사용해 MF의 파라미터를 학습하는 방법 => 관측되지 않은 데이터에 대해서 유저가 아이템에 관심이 없는 것인지 / 유저가 실제로 관심이 있지만 아직 모르는 것인지 고려해야됨... Personalized R..

이번 포스팅에서는 Matrix Factorizaton과 최적화 기법을 소개하려고 합니다!_! 먼저 다시한번 Matrix Factorization 기법에 대해 정의해보겠습니다~_~ Matrix Factorization이란? R과 최대한 유사하게 R^을 추론하는 것이 목표 즉 목적함수는 explicit feedback(1~5점 평점)에서 true rating과 우리가 예측한 predicted rating의 차를 Minimize하는 것이다. Objective Fuction (목적함수) 1) 학습데이터에 있는 유저 u의 아이템 i에 대한 실제 rating 2) 유저 u의 latent vector 3) 아이템 i의 latent vector ->2),3)은 최적화 문제를 통해 업데이트 되는 파라미터 4) 람다 te..

# Latent Factor Model? 간단하게 말하면 임베딩을 한다는 뜻! 다양하고 복잡한 유저와 아이템의 특성을 몇개의 벡터로 compact(작게?) 표현 -> 유저와 아이템을 같은 차원 벡터로 표현하여 나타냄 -> 같은 벡터 공간에서 유저와 아이템의 유사한 정도를 눈으로 확인할 수 있음 예시) # 전통적 SVD란? Matrix Factorization의 코어 아이디어가 됨! Rating Matrix R에 대해서 1) 유저 잠재 요인 행렬 2) 잠재 요인 대각행렬 3) 아이템 잠재 요인 행렬 이렇게 세가지의 행렬로 분해하는 것이다. => 이것은 그냥 선형대수학에서의 개념으로 유저와 아이템을 정해진 차원으로 임베딩하고싶다면? # Truncated SVD? 대표값으로 사용될 k개의 특이값만 사용한다. ..

지금까지 유저/아이템 간의 유사도를 구해 추천을 하는 User-based나 Item-based 같은 Neighborhood-based CF에 대해 공부를 해봤습니다! 이번 포스팅에서는 머신러닝 모델을 활용하는 Model-based CF에 대해 적어보려고 합니다! # 모델 기반 협업 필터링? -SVD(Singular Value Decomposition) -MF(Matrix Factorization) / SGD, ALS, BPR 등의 종류가 있음.. 유저/아이템 간의 유사도에 의존하는 기법들은 데이터의 sparsity(데이터의 빈공간?)에 취약하고 추천 결과를 생성할 때마다 많은 연산을 요구하게 됩니다! - Model-based CF는 머신러닝 모델을 사용하며 데이터..

저번 포스팅에 게시한 CF(협업필터링) 방법을 보면 https://xod22.tistory.com/12 [K-Data x 러닝스푼즈] 2-2. 협업 필터링(CF)의 원리 저번 포스팅에서는 컨텐츠 기반 추천인 CB(Content-based Recommendation)에 대해 공부해봤는데요! 이번에는 많이 쓰이는 협업필터링(CF)에 대해 적어보려고 합니다!! # 협업 필터링? : CF(Collaborative Filterin.. xod22.tistory.com 유사도 계산이 필수적인데요! 오늘은 유사도 계산을 하는 여러가지 방법에 대해 자세하게 적어보려고 합니다! 그럼 시작! # 1) Cosine Similarity : 두 벡터의 각도를 이용하여 구할 수 있는 유사도. 직관적으로 두 벡터가 가리키는 방향이 ..

저번 포스팅에서는 컨텐츠 기반 추천인 CB(Content-based Recommendation)에 대해 공부해봤는데요! 이번에는 많이 쓰이는 협업필터링(CF)에 대해 적어보려고 합니다!! # 협업 필터링? : CF(Collaborative Filtering) => 유저 A와 비슷한 성향을 갖는 유저들이 선호하는 아이템을 추천한다. => 아이템이 가진 속성을 사용하지 않으면서도 높은 성능을 보임! # 1) User-based Collaborative Filtering : 두 유저가 얼마나 유사한 아이템을 선호하는가? 유저간의 유사도를 구한뒤, 나와 유사도가 높은 유저들이 선호하는 아이템을 추천함! 예시 ) User B가 스타워즈에 매긴 평점을 예측하고 싶은 상황에서 User A,B가 각 영화에 매긴 평점을..

# 컨텐츠 기반 추천? : CB(Content-based Recommendation) 유저 A라는 사람이 과거에 선호한 아이템의 메타데이터를 가지고 비슷한 아이템을 유저 A에게 추천한다. => 아이템의 메타데이터의 예) - 영화 : 배우, 감독, 영화장르 - 음악 : 아티스트, 장르, 리듬, 무드 - 블로그 / 뉴스 : 비슷한 주제나 내용을 가진 텍스트(문장, 단어) - 사람 : 공통의 친구를 많이 가진 다른 사람 # Item Profile 추천 대상이 되는 아이템의 Profile을 만들어야한다. Profile은 아이템이 가지고 있는 특징들로 구성되있는데 이 속성들을 Vector형태로 표현한다. * 문서의 경우 Item Profile : 중요한 단어들의 집합으로 표현 단어에 대한 중요도를 나타내는 스코어..

# Offline Test - 새로운 추천 모델을 검증하기 위해 가장 먼저 필요한 단계 - 유저로부터 수집한 데이터를 Train/Valid/Test로 나누어 모델의 성능을 평가 => 추천모델을 고도화시킬 수 있다 # Online A/B Test - 추천시스템의 변경 전후의 성능을 비교하는 것이 x - 동시에 대조군(A)와 실험군(B)의 성능을 평가 (단, 같은시간 및 같은 환경에서 평가해야함) - 실제 서비스를 통해 얻어지는 결과를 통해 최종 의사결정 => 시간별로 유의미한 차이를 꾸준히 나타내는지 # 추천 시스템 별 평가지표 1) 랭킹(Ranking) => 주로 NDCG@k / Recall@k : 유저에게 적합한 아이템 Top K개를 추천 유저의 아이템에 대한 선호도를 구할 필요 없이 소비자가 선호할 ..