[데이터분석] A/B 테스트

A/B 테스트

• 두개의 변형 A와 B를 사용하는 종합 대조실험(controlled experiment)
• 통계적 가설 검정 또는 2-표본 가설 검정의 형태
• 두가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지 검증하는 과정
• 설계
  • 가설
    • 실험을 통해 무엇을 확인하고 싶은지가 명확해야 함
  • 실험 집단 / 통제 집단
    • 전체 모수 둥 실험조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할것인지 정의해야 함
  • 독립변수
    • 설명변수, 또는 예측변수
    • 인과관계에서 원인이 되는 변수
    • 종속변수에 영향을 줄거라고 기대되는 변수
  • 종속변수
    • 독립변수에 의해 영향을 받을것으로 기대되는 변수
    • 인과관계에서 결과가 되는 변수
    • 종속변수의 변화량에 따라 실험의 성과를 판별할 수 있음
    • 측정가능해야 함
    • 종속변수의 현재 수준을 측정하고 실험을 통해 어느정도의 변화를 기대하는지 정의하는것이 필요
  • 통제변수
    • 실험결과에 영향을 미칠 수 있기 때문에 실험집단 / 통제 집당 모두에서 동등한 조건을가져야 하는 변수를 의미
    • 독립변수가 아니지만 종속변수에 영향을 미칠 수 있는 제 3의 변수
  • 샘플크기
    • 실험참가자의 숫자
  • 실험기간
    • 가설 검증을 위한 데이터를 수집하는데 필요한 기간
• A / B 테스트 설계 시 유의 사항
  • 실험집단과 통제집단 샘플링
  • 순차 테스트와 동시 테스트
  • 샘플크기
    • https://www.evanmiller.org/ab-testing/sample-size.html

• A / B 테스트 결과 분석 방법
  • p-value에 대한 이해
    • 귀무가설 하에서 관찰된 검정통계량 만큼의 극단적인 값이 관찰될 확률을 의미
  • A / B 테스트 계산기

• 테스트 비용과 효과 크기
  • 표본의 크키가 커지면 p값은 낮아지는 특성이 있음
• A / B 테스트 진행 시 주의사항
  • 무가설
  • 통제 변수 관리 실패
  • 단순 평균 비교
  • 엿보기 + 조기 중지
  • 시간의 흐름에 따른 차이를 살표보지 않는것
  • 과거의 A / B 테스트 경험을 지나치게 신뢰하는것
  • 국지적 최적화의 함정

 

Reference

양승화, 『그로스해킹』, 위키북스(2021.1.14)