[K-Data x 러닝스푼즈] 1-3. 추천 시스템의 평가 지표, Offline Test, Online A/B Test

# Offline Test

- 새로운 추천 모델을 검증하기 위해 가장 먼저 필요한 단계

- 유저로부터 수집한 데이터를 Train/Valid/Test로 나누어 모델의 성능을 평가

=> 추천모델을 고도화시킬 수 있다

# Online A/B Test

- 추천시스템의 변경 전후의 성능을 비교하는 것이 x

- 동시에 대조군(A)와 실험군(B)의 성능을 평가 (단, 같은시간 및 같은 환경에서 평가해야함)

- 실제 서비스를 통해 얻어지는 결과를 통해 최종 의사결정

=> 시간별로 유의미한 차이를 꾸준히 나타내는지

---

# 추천 시스템 별 평가지표

1) 랭킹(Ranking)  => 주로 NDCG@k / Recall@k

: 유저에게 적합한 아이템 Top K개를 추천

유저의 아이템에 대한 선호도를 구할 필요 없이 소비자가 선호할 것으로 예상되는 Top K를 선정하는 것.

-> 평가지표 : Precision@K, Recall@k, MAP@K, nDCG@K

[① Precision@k]

- Precision이란?

True Positive(TP) : 실제 True를 True라고 예측 / False Positive : True라고 예측했지만 실제는 False

: True라고 예측한 것들 가운데 실제 True의 비율

 

-> Precision을 Precision@k로 확장!

-> 그렇다면 Precision@k는?

: 추천한 K개 아이템 가운데(예측한 K개의 아이템 가운데) 실제 유저가 관심있는 아이템의 비율

 

예) 우리가 추천한 아이템 개수 : K=5

추천한 아이템 중 유저가 관심있는 아이템 개수 : 2

Precision@5 = 2/5

[② Recall@k]

- Recall이란?

False Negative : 실제로 True지만 False라고 예측

: 전체 True가운데 True라고 예측한 비율

 

-> Recall을 Recall@k로 확장!

-> 그렇다면 Recall@k는?

: 유저가 관심있는 전체 아이템(실제로 관심있는 아이템) 가운데 우리가 추천한 아이템의 비율(관심있다고 예측 성공한?)

 

예) 우리가 추천한 아이템 개수 : K=5

추천한 아이템 중 유저가 관심있는 아이템 개수 : 2

유저가 관심있는 아이템의 전체 개수 : 3

Recall@5 = 2/3

[③ MAP@k]

: Mean Average Precision @k

 

- Average Precison(AP@k) 이란?

Precision@1부터 Precision@k까지의 평균값을 의미함!

즉 추천을 1개 보여줬을 때, 2개 보여줬을때 ... k개 보여줬을때 까지 Precision의 평균값이다!!

=> relevant한 아이템을 더 높은 순위에 추천할 경우 각각의 Precision값이 높아지니까~ 저절로 점수가 상승하게됨~!

---

- Mean Average Precision(MAP@k)이란?

: Average Precision(AP@k)을 확장한 것으로 

모든 유저에 대한 Average Precision값의 평균이다..! 즉 추천시스템의 성능

 

[④ NDCG@k]

: MAP@k처럼 추천 순서에 가중치를 더 많이 두어 성능을 평가하며 1에 가까울수록 좋다!

 

MAP@k와 NDCG@k의 다른점 

 

MAP@k는 유저가 관심이 있냐!의 여부를 binary(0/1로 평가)

NDCG@k는 관련도값을 사용 ! 

-> 관련도값이란.. 첫번째로 맞췄을 때 5점 ..두번째로 맞췄을 때 4점...이런식으로 가중치를 두어 점수를 매긴다는 것!

[⑤ Hit Rate@k]

- 특정 유저가 선호하거나 클릭했던 모든 Item을 가져옴!

- 그 아이템들 가운데 하나의 아이템만 제거함

- 하나의 아이템을 제외한 나머지 아이템을 가지고 추천 모델을 학습한 뒤에 Top K 추천 리스트를 추출

- Top K 추천 리스트 가운데 앞서 제거한 하나의 아이템이 들어있다면 Hit(True) / 들어있지 않다면 Hit가 아니다(False)

 

=> Hit Rate 계산!

=> number of hit user / number of user

 

---

2) 예측(Prediction)

: 유저의 아이템에 대한 선호도를 정확하게 예측하는 것

여기서 Explicit Feedback은 철수가 아이언맨에 대해 내릴 평점값을 예측하는 것

Implicit Feedback은 영희가 아이폰12를 조회하거나 구매할 확률값을 예측

-> 평가지표 : MAE, RMSE, AUC

[MAE&RMSE]

: 실제값과 예측값의 차이를 하나의 성능지표로 표현 => 값이 작을수록 추천 알고리즘의 성능이 좋음 ! 

 

대부분의 머신러닝 모델에서 RMSE값을 많이 사용

 

- MAE(Mean Absolute Error)

- RMSE(Root Mean Square Error)

계산 예시 ) 

error는 실제값과 예측값의 차이!

MAE = (2 + 3 + 1 + 0) / 4 = 1.5

RMSE = sqrt((4 + 9 + 1 + 0) / 4) = 1/87

 

---

 

용어가 많아서 처음 공부할 때는 헷갈리는 부분이 많았는데

이렇게 정리해놓고 나니까 훨씬 이해가 쉬워지네요!

많은 도움이 되셨길 바라며..!

 

오늘도 끝