[코드스테이츠 PMB 9기] A/B테스트와 P-Value

A/B 테스트의 구성 단계

A/B테스트의 구성 요소

1. 가설 : ~하면 ~일 것이다.
2. 목표 : A/B 테스트의 목표
3. 기간 : A/B 테스트의 기간
4. 대상 : A/B 테스트를 진행할 대상 고객층(사용자 세분화 / 코호트 분석)
5. 측정 지표 : 전환율, 이탈률 등 대표적으로 측정할 지표 설정
6. 결과 : P-value와 같은 요소를 통해 통계적 유의성 계산(실제로 이 통계가 유의미한가?)
7. 결론 : 결과가 우수한 내용(측정 지표가 높은 안)을 실제로 적용

---

A/B 테스트 툴

옵티마이즈

• 구글에서 제공하는 웹 환경의 분석 도구
• GA와 연동하여 구글 제품과의 통합 과정이 비교적 수월
• GA안에서 기능으로 분류되던 것이 스탠드 얼론으로 구성되어 데이터 분석 기능이 다소 부족

파이어베이스 애널리틱스

• 구글에서 제공하는 앱 환경의 분석 도구
• 구글 빅쿼리와의 연계를 지원하며, 무료로 서비스를 제공

옵티마이즐리

• 앱/웹 분석이 전부 가능한 도구, 유료 서비스이지만 테스트 설계가 용이하며 커스텀 가능

---

A/B 테스트 활용 영역

• 랜딩 페이지
• 사이트 레이아웃
• UI
• CTA(Call-to-action) 문구
• CTA 버튼 색 및 위치
• 가이드 메세지
• 제품 메세지(푸시 알람 등)

p-value

> ‘어떤 가설을 전제로, 그 가설이 맞는다는 가정 하에, 내가 현재 구한 통계값이 얼마나 자주 나올 것인가’ 를 의미함
> 일반적으로 P-value 가 0.05 보다 낮으면 신뢰할 수 있다고 봄
> P-value 계산 툴 : https://ko.surveymonkey.com/mp/ab-testing-significance-calculator/

 

유의사항 

1. 버튼 색깔을 과대평가하지 말 것

• 일시적인 효과일 확률이 높음
• 사용자들이 익숙해지면, 이전으로 돌아갈 수 있음
• 일시적 개선이 될 수 있으나, 근본적으로는 서비스 품질이나 고객 커뮤니케이션을 통해 UX를 개선해 나가야 

2. 가설 없는 A/B 테스트는 인사이트를 얻을 수 없음

• 가설은 꼭 필요하지만, 자칫하면 답을 정해놓고 이를 합리화하기 위해 A/B 테스트가 사용될 수 있기에 주의해야 함

3. 통제 변수는 1개만 설정할 것

• 통제 변수는 1가지만 설정하고 테스트 후에 다른 변수에 대해 테스트해야 함
• 변인을 1가지만 주어 정확하게 어떤 차이 때문인지 알아야 함

4. 시간의 흐름에 따른 차이를 고려할 것

• A/B 테스트 결과는 시간에 따라 변화하는 일이 잦음
• 새로운 기능이 나오면 새 기능을 일단 써보는 사용자가 있기 때문에, 전환율과 P-Value에 영향을 줌
• 시간의 흐름에 따른 추이 변화, 혹은 특정 브라우저 버그, 기능 오류 등 외부 요인은 없었는지도 재차 확인해야 함

5. A/B 테스트 유효성에 대한 신뢰는 영구적이지 않음

• A/B 테스트를 통해 잘 설계되어 의미 있는 결과를 도출하였다고 해도, ‘앞으로도 계속 그 결과가 유효할 것이다’라고 보장할 수는 없음
• 시간의 흐름에 따라 달라질 수 있는 외부 환경 요인이 다양함
• 결과 도출 후 외부 환경 요인을 충분히 고려하여 A/B 테스트 결과를 활용하고, 일정 기간 이후 새로운 A/B 테스트를 설계해야 함

---

그로스 실험의 이유

• 스타트업은 고객에 대해 배우고, 시장에 대해 배우며 성장하는 조직이다.
• 그로스 실험을 통해 고객과 시장에 대해 끊임없이 배워나가며 성장한다.
• 서비스는 오늘 보다 내일 더 좋아지지 않으면 고객은 이탈한다.
• 스타트업은 확장가능하고 지속가능한 비즈니스 모델을 찾아가는 임시 모델