[A/B 테스트] A/B 테스트 세팅과 결과 해석

안녕하세요:) 

오늘은 A/B 테스트 관련한 글을 포스팅해보려고 합니다.

 

토스 Data Analyst 과제 전형을 수행할 때, A/B테스트를 잘 이해해야 풀 수 있는 문제가 있었는데요.

(A/B테스트 결과를 어떻게 해석할 것인지에 관련한 문제였습니다.)

이 문제를 풀어보면서 A/B 테스트에 대해 한번 더 정리를 하고싶다는 생각이 들어서 다시 공부해보게 되었습니다.

---

1️⃣ A/B 테스트 의미

1) 우리는 암묵적으로 A/B 방안의 결과가 상당히 크길 바란다.

2) 우리는  실험의 진행이 공정하길 바란다. 그 공정함의 실체가 무엇인지는 모르지만..

 

표면상의 질문) 목표를 달성하기 위한 방안으로 A안과 B안 중에 어떤 것이 더 효과가 좋은가?

숨은 질문 ) 이번 며칠동안 모은 ~명의 트래픽/고객에 대해서만 유효한게 아니라, 앞으로도 해당 유형의 모든 고객에게 A안과 B안 중 어느게 확실하게 효과가 좋은가? 그리고 이 결과는 우연이 아닌게 맞나? 이 결과는 정말로 A와 B의 차이 덕분에 생긴게 맞는가?

 

2️⃣ 기초 통계

1. 모집단, 표본
2. 중심 극한 정리 : 표본 수가 충분하다면 일부를 통해 전체에 대해 추측, 추론, 추정 가능
3. 귀무가설과 대립가설 : 귀무가설 (평소의 상황, 차이가 없다) / 대립가설 (대립되는 결과, 차이가 생긴다)
4. 양측검정과 단측검정 : 단측검정 (A가 B보다 무조건 높을 or 낮을 것이다) / 양측 검정 (A와 B중 뭐가 더 높을지 or 낮을지 모르지겠지만 일단 차이는 있을 것이다)
5. 신뢰수준 (ex.95%)
6. p-value와 유의수준(ex. 5%)

A/B 테스트에서 모집단과 표본을 잘 설명한 그림

 

3️⃣ A/B 테스트 세팅

A/B-Test Calculator - Power & Significance - ABTestGuide.com

1. Test Data : 표본 크기, 그룹별로 최종 전환된 숫자
2. Settings-Hypthesis : 단측 검정 or 양측 검정
   -> 두 그룹이 차이가 있다는 전제 하에, 특정 한쪽이 무조건 우세? or 어느 쪽이 우세할지는 모르겠으니 열어놓고 볼지?
3. Setting-Confidence : 신뢰수준
   -> 똑같은 실험을 100번한다고 했을 때, 그중 몇번을 우연으로 볼 것인지

A/B테스트 계산기의 세팅 항목들

4️⃣ 실험 결과 해석

• significant : 유의미
• not significant : 유의미x
  -> 애초에 두 그룹 사이에 별 차이가 없거나
  -> 네가 모아온 그 쥐꼬리만한 표본으로는 누가 더 나은건지, 이게 이번만 우연이 아닌지 나도 모르겠어

ex)

1) 실험 1 : 10명 중 2명 (20%) vs 10명 중 3명 (30%)
2) 실험 2 : 10,000명 중 2,000명 (20%) vs 10,000명 중 3,000명 (30%)
3) 실험 3 : 100,000명 중 2,000명 (2%) vs 100,000명 중 2,200명 (2.2%)

다음과 같은 실험이 있을 때, 우리는 직감적으로 

1) 표본이 클수록, 2) 두 그룹 간의 결과 차이가 커야 유의미하다고 생각한다.

 

그래서 우리는 실험1과 실험2 중에선 실험2가 더 낫다고 생각하지만, 반면 실험2와 실험3을 비교할 때에는 아리송하게 느낀다.

표본의 수는 실험3이 크지만 비율 차이를 보면 실험 2는 10%, 실험 3은 0.2%에 불과하기 때문이다.

 

하지만 우리는 단순히 비율차를 비교하는게 아니라 이 비율 차이가 우연인지 아닌지를 알고싶은 것이다.

 

실험3도 p-value 0.0018로 유의미

(우리의 직관) 100,000명 비교해서 차이가 고작 0.2% vs (통계) 표본이 크니 충분 + 우연이라고 볼 수 x

-> 표본이 크면 클수록 같거나 더 작은 차이로도 유의미하다는 평가를 얻어낼 수 있다.

 

5️⃣ 적당한 표본 크기

Sample Size Calculator

적당한 표본 크기는 A안과 B안 사이의 차이가 어느 정도 되기를 바라느냐에 따라 다르다

 

예를들어

기존 전환율(20%), 차이(1%) : 1%만 차이나도 유의미하기를 바란다면 표본은 25,255만큼 필요

기존 전환율(20%), 차이(5%) : 반면 5% 차이가 난다면, 표본이 1,030만 되어도 유의미

 

즉, 표본은 얼마나 필요한가요? = "두 방안의 결과가 몇 % 정도 차이날 것이라고 기대하나요?"가 된다.

6️⃣ 결론

1. 표본이 많으면 많을수록 A안과 B안의 결과 차이가 작더라도 실험 결과가 통계적으로 유의할 수 있다.
2. 표본이 작더라도 A안과 B안의 결과 차이가 크다면 마찬가지로  통계적으로 유의미할 수 있다.

---

*참고자료

07화 A/B 테스트를 설계할 때의 우리의 진짜 질문

08화 A/B 테스트의 뒤에 숨은 기초 통계 이해하기

09화 A/B 테스트 계산기 세팅 & 해석하기