[K-Data x 러닝스푼즈] 3-3. Matrix Factorization과 최적화 기법

이번 포스팅에서는 Matrix Factorizaton과 최적화 기법을 소개하려고 합니다!_!

---

먼저 다시한번 Matrix Factorization 기법에 대해 정의해보겠습니다~_~

 

Matrix Factorization이란?

R과 최대한 유사하게 R^을 추론하는 것이 목표

즉 목적함수는 explicit feedback(1~5점 평점)에서 true rating과 우리가 예측한 predicted rating의 차를 Minimize하는 것이다.

---

Objective Fuction (목적함수)

1) 학습데이터에 있는 유저 u의 아이템 i에 대한 실제 rating

2) 유저 u의 latent vector

3) 아이템 i의 latent vector

->2),3)은 최적화 문제를 통해 업데이트 되는 파라미터

4) 람다 term은 L2Regularization(정규화)를 의미한다. 학습데이터에 Overfitting(과적합)되는 것을 방지하기 위해 weight 값이 너무 커지지 않게 조절하는(?)것이다.

 

* 정규화의 종류에는 L1(라쏘), L2(릿지) 정규화가 있다!

단 L1규제는 weight를 0으로 만들어주기 때문에 굳이 사용하지 않고 MF에서는 L2만 사용한다

---

MF의 최적화 알고리즘

 

• SGD (Stochastic Gradient Descent in MF)

모든 최적화 알고리즘에서 디폴트로 사용하는 방법

에러를 줄여나가는 쪽의 Gradient를 구해서 파라미터를 Gradient(기울기)에 따라 업데이트 하는 방식

Gradient의 반대방향으로 p,q를 업데이트

* SGD이름에 Stochastic이 붙은 이유는 데이터 전체에 대해 Gradient를 구하는게 아니라 데이터 하나하나 포인트에 대해 Gradient를 구하기 때문에 Stochastic이 붙음!

 

• ALS (Alternative Least Square)

-> implicit feedback데이터일 경우 사용

 

- 유저와 아이템 매트릭스를 번갈아가면서 업데이트 함!
예) q를 고정->p를 병렬연산 / p를 고정->q를 병렬연산

 

- Sparse한 데이터(비어있는 데이터)에 대해 SGD보다 Robust(크게 영향x)한 모습

 

- SGD와 다르게 병렬처리가 가능하여 Spark와 같은 분산 처리 시스템에서 대용량 데이터에 대해 빠른 학습이 가능하다

 

SGD->연산할 때 p를 업데이트 할 때 p,q사용 / 데이터가 100개 있다면 순차적으로 100개의 데이터를 업데이트해야함

 

ALS->q를 고정시킨 채로 전체 데이터셋에 대해서 통째로 p로 업데이트

 

---

논문에서 소개된 다양한 MF 테크닉

MF 공부할 때 꼭 읽어보면 좋음

• Adding Biases

- CF에서 deviation 아이디어를 적용하여 biases 추가를 통해 예측 성능을 높이는 방법

- 어떤 유저는 모든 영화에 대해서 평점을 짜게 줄 수도 있음

Gradient 반대방향으로 업데이트

• Temporal Dynamics

- 시간에 따라 변화하는 유저, 아이템의 특성을 반영하고 싶음

- 따라서 몇달..이렇게 계속 한 모델을 쓰는 것은 불가

 

<daily 모델>

daily 모델을 사용함으로 cold start 문제와 time effect(최신성) 문제를 해결

왜냐하면 최신성을 반영하는게 무조건 성능이 좋기 때문..!

 

기존모델에 비해 테크닉을 추가했을 때 RMSE값의 변화

---

끝

٩(ˊ  ᗜˋ*)و