A/B 테스트 따라하기

이 페이지의 코드대로만 따라하면 8분 안에 첫 A/B 테스트를 운영에 올릴 수 있습니다.

1. 실험 생성

1. Experiments 페이지로 이동
2. "+ 새 실험" → key: checkout-redesign, variants: A:50,B:50
3. 새로 생성된 실험은 실험 전 상태입니다. "실험 시작" 버튼을 누르고 확인 모달에서 "시작"을 누르면 실험 진행중으로 전환됩니다.

2. SDK 호출

const variant = client.getVariant('checkout-redesign', 'control');
// 'A' | 'B' | 'control' (서버가 다운이거나 실험이 진행중이 아닐 때)

// 호스트 앱이 직접 Mixpanel 이벤트 발화
mixpanel.track('experiment_started', {
  experiment: 'checkout-redesign',
  variant,
});

// 노출에 따른 UI 분기
if (variant === 'B') renderNew();
else renderOld();

3. 분배 일관성 확인

같은 사용자(로그인 ID 또는 디바이스 ID)는 새로고침해도 항상 같은 분기를 받습니다. 비로그인 상태에서 받은 분기는 로그인 후 identify()를 호출하면 서버가 ID 매핑을 저장해 이후에도 같은 분기를 유지합니다.

4. 실험 내용 적기 (옵션)

실험 상세 페이지의 "실험 내용" 섹션에 가설·결과·중간 관찰을 자유서식 에디터(굵게/목록/제목/인용/코드 블록)로 기록할 수 있습니다. 실험 전과 실험 진행중 모두 편집 가능하고, 종료된 실험은 읽기 전용으로 보존됩니다. 분배 비율과 분기 구조 변경은 진행 중 잠겨도, 메모는 계속 수정할 수 있어요.

5. 실험 종료

진행중인 실험 행의 "실험 종료" 버튼을 누르고 확인 모달에서 "종료"를 누르면 즉시 getVariant가 control(혹은 fallback)을 반환합니다. 종료는 비가역 작업이므로 다시 시작할 수 없습니다 — 재가동이 필요하면 새 실험을 만들어 주세요. 종료된 실험과 아직 시작하지 않은 실험은 삭제할 수 있습니다.