[코드스테이츠 PMB 9기] User Segmentation / Cohort / AB Test

User Segmentation / Cohort

사용자 세분화
→ 데이터 필터 기능으로 1차 데이터를 하위 기준으로 분류해서 보는 것 의미함

 

코호트 분석
→ 특정 기간 돤 공통된 특성이나 경험을 갖는 사용자 집단

 

Segmentation vs Cohort
→ 고객군 특징 구분으로 그룹화 비교 vs 기간 별 특성이나 경험의 차이점 그룹화 비교

 

Funnel 목적 vs Cohort 목적
→ 어디에 집중해서 개선해야 할까? vs 우리가 잘 하고 있나?

---

 

A/B Test

트러블 슈팅(메뉴얼)
→ 경우의 수에 따른 분석 요소(메뉴얼)(w. 가설검증)

 

A/B Test
→ 정의된 지표와 관련하여 여러가지 버전의 기능이나 페이지를 평가하는 실험

• 두 개의 변형 A,B를 사용하는 ‘종합 대조 실험’
• 두 변수 중 어떤 것이 더 효과적인지 판단

 

A/B Test 의의

• 정량적인 데이터 기반의 의사결정으로 리스크 헷지 가능
• 상관관계로부터 인과관계를 찾아낼 수 있음

 

절차

1. A/B 테스트 셋팅
2. 테스트 대상자 A,B 두 그룹으로 분류
3. 두 가지 포맷의 페스트(홈페이지, 기능 등) 자료 제작
4. 테스트 자료를 A, B 그룹에 각각 제공
5. 각 그룹이 어떻게 반응했는지 데이터 분석(지속시간, 전환율, 이탈률 등)
6. 통계적 유의성(P-Vlaue) 계산(0.05 미만에 해당하는지)
7. 결과가 우수한 내용을 실전에 반영

 

구성요소
→ 예시 https://brunch.co.kr/@beusable/17

1. 가설 : ~하면 ~일 것이다.
2. 목표 : A/B 테스트의 목표
3. 기간 : A/B 테스트의 기간
4. 대상 : A/B 테스트를 진행할 대상 고객층(사용자 세분화 / 코호트 분석)
5. 측정 지표 : 전환율, 이탈율 등 대표적으로 측정할 지표 설정
6. 결과 : P-value와 같은 요소를 통해 통계적 유의성 계산(실제로 이 통계가 유의미한가?)
7. 결론 : 결과가 우수한 내용(측정 지표가 높은 안)을 실제로 적용

 

테스트 제안서

• 테스트 목적
• 테스트 설명
• 테스트하고자 하는 가설
• 테스트로 발생할 수 있는 리스크
• 테스트 결과에 따라서 로드맵에 미치는 영향

 

실험 설계 문서

1. 실험 가설
   1. 실험을 통해 검증하고자 하는 가설을 정의
   2. 좋은 가설
      1. 측정 가능
      2. 현실적으로 실험 가능
      3. 간결하고 명확해야 함
2. 실험에 대한 설명
   1. 실험 관련 개요 작성
   2. 설명만으로 다른 조직 구성원이 실험을 이해할 수 있는 내용이어야 함
3. 실험 기간
   1. 팀별 실험에 노출되는 모수 및 의사 결정을 위해 예상하는 최소 임팩트에 따라 실험 기간을 다르게 설정
   2. 실험 기간에는 실험 시작일, 실험 종료일 및 1%, 10%, .. 50%, ..100% 로 실험 노출 비율을 조정하는 예상 일정도 함께 기재 권장
4. 실험 대상
   1. 실험이 노출되는 대상에 대해 정의
   2. 주로 실험이 노출될 플랫폼(iOS, Android)과 OS버전, 앱 버전(e.g. 2.51.0) 을 작성
5. 지표 설정
   1. 실험 가설이 실제로 어떠하였는지를 데이터로 검증하기 위해 가설과 직접 연결되는 지표 설정(지표는 크게 두 가지 지표를 설정)
      1. Primary Metric
         1. 실험 성공/실패 여부를 직접적으로 판단하는 최우선 지표
      2. Secondary Metric (Optional)
         1. 실험 과정에서 부가적인(긍정정/부정적) 영향이 있을 것으로 예상되어, primary metrics과 함께 모니터링하는 지표 (optional)
   2. 새롭게 실험한 가설이 고객에게 임팩트를 줬다면, 어떤 지표가 직접적으로 상승하거나 하락하는지 고려하여, 지표를 설정할 수 있음
   3. 지표를 설정한 이후 설정한 지표가 다른 실험 결과나 기능에 영향을 받진 않는지 검증 → 해당 실험과 직접적인 연관관계가 있는지 검토
6. 실험 그룹 설정
   1. 가설을 검증할 수 있는 실험을 설계하기 위해, 가설별로 노출되는 사용자들을 나누는 단계가 필요함
   2. Control group(대조군)
      1. 실험의 기준이 되는 그룹을 의미
      2. 일반적으로는 현재의 제품(또는 기능)을 보통 대조군으로 설정
   3. Treatment Groups (실험군들)
      1. 실험 요인에 변화를 준 집단
      2. 일반적으로 가설을 통해 검증하고자 하는 개선된 제품(또는 기능)을 실험군으로 설정
7. 관련 문서 링크
   1. 프로덕트 스펙 문서
   2. 테크 스펙 문서

 

활용

• WEB
  • Optimize
    • 구글에서 제공하는 웹 환경의 분석 도구
    • GA와 연동하여 구글 제품과의 통합 과정이 비교적 수월함
    • GA안에서 기능으로 분류되던 것이 스탠드 얼론으로 구성되어 데이터 분석 기능이 다소 부족
  • Optimizely
    • 앱/웹 분석이 전부 가능한 도구
    • 유료 서비스이지만 테스트 설계가 용이하며 커스텀이 가능
• APP
  • Firebase
    • 구글에서 제공하는 앱 환경의 분석 도구
    • 구글 빅쿼리와의 연계를 지원하며, 무료로 서비스를 제공
  • Optimizely

---

 

모집단과 P값

→ 적절한 모수와 P값 고려하지 않을 경우, 잘못된 해석을 할 수 있음

 

P-Value
→ 특정 가설 전제로, 그 가설이 맞다는 가정 하 내가 구한 통계값이 얼마나 자주 나올 것인지 관련한 Value

• 실제로 차이가 없지만, 모수 등의 문제로 인해 차이가 발생할 확률
• 높을수록 가설이 맞지 않는 것임
• 일반적으로 0.05이하 일 경우 신뢰도 높다고 판단 가능
• P값 구하는 툴(서베이몽키)

 

---

 

A/B 테스트 고려사항

• 버튼 색 등의 부분적인 요소들을 과대 평가 하지 말 것
• 가설 없는 AB테스트는 인사이트를 얻을 수 없음
• 통제 변수는 1개만 설정 할 것
• 시간의 흐름에 따른 차이를 고려할 것

---