[A/B 테스트] A/B 테스트란?

추천시스템을 공부하면서 현업에서 A/B테스트를 통해 적용을 많이 한다고 하더라구요

정작 A/B테스트가 무엇인지 감이 잘 안잡혀서 포스팅해보려고 합니다!

 

 

A/B테스트란?

A/B테스트는 기존 서비스(A)와 새로 적용하고 싶은 서비스(B)를 통계적인 방법으로 비교하여 새로운 서비스가 기존 서비스에 비해 정말 효과가 있는지를 알아보는 방법.

 

 

 

A/B테스트 방법

 

A/B 테스트는 다음과 같이 크게 4단계로 이루어져있습니다.

 

1. 가설 설정

2. 메트릭 정의

3. 실험 설계

4. 결과 도출

 

---

1. 가설 설정

 

: 가설 설정에서 가설은 통계적인 방법을 이용하여 참인지 거짓인지를 판별할 수 있는 명제로써 검증하고자 하는 것이 무엇인지를 문장형태로 구체화하는 것이다.

 

예) 어떤 홈페이지 운영자가 버튼의 색깔을 바꿔서 다운로드 횟수를 올리고 싶다고 할때, 가설은

 

다운로드 버튼의 색상을 바꾸면 기존 빨간색일 때보다 더 많은 사용자가 다운로드 할 것이다!

 

 

즉, 새롭게 적용해보고자 하는 것은 홈페이지 화면의 다운로드 버튼 색상을 바꾸는 것입니다.

이제 1차 가설을 구체화해야 합니다. 여기서는 버튼 색상을 무엇으로 할지 결정해야합니다. 이때 색상 관련 전문가에게 사용자가 선호하는 색상이 무엇인지 조언을 구할 수도 있고, 설문조사를 통해 사용자가 원하는 색상이 무엇인지 사전에 파악하여 바꿀 색상의 후보를 정할 수도 있다.

 

여기서는 설문조사를 해서 사용자가 가장 선호하는 색상이 초록색이라는 것을 알았다고 가정해보겠습니다!

-> 이후 구체화된 가설은

 

다운로드 버튼의 색상을 초록색으로 바꾸면
기존 빨간색일 때보다 더 많은 사용자가 다운로드할 것이다!

 

---

2. 메트릭 정의

 

: 가설을 설정했다면 이 가설이 참인지 거짓인지를 보이기 위한 측정 기준이 필요한데 이를 메트릭(Metric)이라고 한다. 메트릭은 검증하고자 하는 가설에 따라 달라진다.

 

예) 우리가 위 가설에서 검증할 것은 "버튼의 색상을 초록색으로 바꾸었을 때 다운로드 횟수가 빨간색이었을 때보다 더 많은가?"이다. 따라서 여기서 메트릭은 다운로드 횟수가 된다. 

 

메트릭은 하나의 가설에 대해서 두 개 이상이 될 수도 있다. 만약 실제로 사용자가 단순히 실수가 아닌 필요에 의해서 다운로드 했는지를 확인하기 위해서 다운로드 취소 횟수를 메트릭으로 추가할 수도 있다.

 

---

3. 실험 설계

 

: 실험 설계에서는 기존 환경과 가설을 검증할 실험 환경을 준비하고 집단을 두개로 나누어 하나는 기존 환경에 다른 하나는 실험 환경에 배정하게 된다. 

 

- 실험 환경 : 검증할 요소 외 다른 요소들은 기존 환경과 모두 동일하게 만들어야한다..!

=> 검증할 요소가 초록색 버튼이라면 버튼 색상 외 다른 요소들은 기존 환경과 실험 환경이 동일해야 한다. 검증하고자 하는 결과(다운로드 횟수 증가)와 바뀐 부분(버튼 색상)의 연관성을 정확하게 파악하기 위해서..

 

- 실험 환경이 준비되었다면 두 집단을 하나는 기존 환경에 하나는 실험 환경에 배정해야한다. 집단을 배정할 때 반드시 랜덤하게 배정해야 실험 결과에 대한 해석을 정확하게 할 수 있다.

 

---

4. 결과 도출

 

: 실험 설계가 완료되면 이제 두 집단에 대하여 미리 정의한 메트릭을 계산한다. 

예) 빨간 버튼일 때의 다운로드 횟수와 초록 버튼일 때의 다운로드 횟수를 계산

 

통계적인 방법을 이용하여 가설을 검정하여 이 두 집단에서 구한 메트릭의 차이가 유의미한지 확인.

검정의 결과 통계적으로 유의미한 차이가 있다면 우리는 새롭게 적용한 서비스가 기존의 서비스보다 더 낫다고 판단.

-> 상황에 따라 통계적 가설검정을 생략하고 그래프로 차이가 있는지 없는지를 판단하는 경우도 있음!

 

여기서 주로 사용되는 통계적 가설 검정 방법은 2표본 t-검정!

 

*t-test에 대한 것은 이 글을 참고해주세욧..!

2022.03.15 - [데이터 분석/04. Data Analysis] - [Python] t-test

[Python] t-test

 

만약 통계적으로 유의한 차이가 없다면 가설 설정에 문제는 없었는지, 실험 설계에서 잘못된 부분은 없었는지, 데이터는 충분히 확보되었는지를 확인하여 다시 가설 검정 절차를 수행한다..!

 

 

 

A/B 테스트의 장단점

 

- 장점

1. 새로운 방식이 기존방식에 비해 효과가 있는가에 대한 답을 비교적 빠르게 제공

2. 새롭게 적용할 서비스와 기존 서비스를 비교할 수 있는 모든 분야에 적용 가능(신약 개발, 웹 마케팅, 정책 효과 등)

3. 웹서비스 분야에서 새로운 UX/UI에 대한 효과를 A/B테스트를 통해 알아봄으로써 지속적으로 사용자의 편의성을 증대시키는 방향으로 웹 서비스를 개선 가능

 

 

- 단점

1. 실험설계를 잘했다고 해서 가설검정에서 보고자 했던 결과와 요인 사이의 인과관계를 정확히 알 수 없다.

-> 위 실험같은 경우 버튼의 색상변경으로 다운로드 횟수가 늘어났다고 해도 그 시점에 경쟁 웹사이트가 없어졌거나 날씨 등의 이유로 집에서 인터넷을 하는 사람들이 일시적으로 증가해서 다운로드 횟수가 늘어난 것일 수도 있기 때문

 

2. 새로운 방식이 기존의 방식과 크게 차이난다면 A/B테스트는 결과가 잘못될 수 있으며 리스크가 굉장히 커지게됨

-> 기존 디자인보다 바뀐것이 많다면 사용자의 혼란을 가중시켜 이탈률이 높아지게 할 수 있음...