A/B 테스트 계산기

A/B 테스트는 비교 가능한 방문자를 대조 경험과 대안 경험에 무작위로 배정한 뒤 구매, 가입, 클릭, 작업 완료 등 사전에 정의한 결과를 측정합니다. 이 계산기는 합동 비율을 사용하는 두 비율 z 검정으로 두 이진 전환율을 비교합니다. 각 전환율, 상대 상승률, z 점수, 양측 p값 및 통상적인 유의성 기준 0.05를 충족하는지 보여줍니다. 각 버전의 전환율은 전환 수를 방문자 수로 나눈 값입니다. 두 버전의 실제 전환율이 같다는 귀무가설 아래 두 표본의 전환을 합산합니다. 이 합동 비율로 차이의 표준오차를 추정하고, 관측된 전환율 차이를 표준오차로 나누어 z 점수를 구합니다. 양측 p값은 귀무가설이 참일 때 적어도 이만큼 큰 차이가 얼마나 드문지를 나타냅니다. p값이 0.05보다 작으면 일반적으로 구십오 퍼센트 신뢰수준에서 통계적으로 유의하다고 표현합니다. 이는 테스트 버전이 더 좋을 확률이 구십오 퍼센트라는 뜻이 아니며, 변경의 사업적 가치를 측정하지도 않습니다. 상대 상승률은 전환율 차이를 대조군 전환율과 비교한 값이고, 절대 상승폭은 단순히 B 전환율에서 A 전환율을 뺀 값입니다. 작지만 통계적으로 신뢰할 수 있는 상승은 대규모 적용에서 상당한 가치가 있을 수 있으며, 표본이 작으면 큰 상승이 관측되어도 불확실할 수 있습니다. 유효한 추론은 실험 설계에 달려 있습니다. 사용자를 무작위 배정하고 배정을 유지하며, 동일한 독립 단위를 중복 집계하지 말고, 결과를 보기 전에 주 지표를 정하며, 정상적인 주기를 포착할 만큼 오래 실험하세요. 유의성이 처음 나타날 때마다 중단하면 거짓 양성 위험이 커집니다. 여러 지표, 반복적인 중간 확인, 다수 버전 비교에도 보정된 분석이나 사전에 계획한 순차적 방법이 필요합니다. 정규근사는 각 버전에 충분한 기대 전환 수와 미전환 수가 있을 때 가장 잘 작동합니다. 결과가 매우 드물면 Fisher의 정확 검정이나 다른 정확한 방법이 필요할 수 있습니다. 통계적 유의성은 측정 설정 오류, 신기성 효과, 표본 비율 불일치, 봇 트래픽, 테스트 중 발생한 변화까지 막아주지 않습니다. 배포를 결정하기 전에 신뢰구간, 가드레일 지표, 실질적 효과 기준 및 실험 품질 검토와 함께 결과를 활용하세요.