Калькулятор A/B-тестов

A/B-тест случайным образом распределяет сопоставимых посетителей между контрольным и альтернативным вариантами, затем измеряет заранее выбранный результат: покупку, регистрацию, клик или выполнение задачи. Этот калькулятор сравнивает две бинарные конверсии с помощью z-теста двух долей с объединённой оценкой доли. Он показывает обе конверсии, относительный прирост, z-оценку, двустороннее p-значение и достижение общепринятого порога значимости 0.05. Конверсия каждого варианта равна числу конверсий, делённому на число посетителей. При нулевой гипотезе о равенстве истинных долей калькулятор объединяет конверсии обеих выборок. По объединённой доле он оценивает стандартную ошибку разности, затем делит наблюдаемую разность долей на эту ошибку и получает z-оценку. Двустороннее p-значение показывает, насколько необычной была бы разница не меньше наблюдаемой, если бы нулевая гипотеза была верна. p-значение ниже 0.05 обычно называют статистически значимым при доверительном уровне девяносто пять процентов. Это не означает такую вероятность превосходства тестового варианта и не измеряет ценность изменения для бизнеса. Относительный прирост сопоставляет разницу долей с контрольной долей, а абсолютный прирост — просто конверсия B минус конверсия A. Небольшой, но статистически надёжный рост может быть ценным в большом масштабе, а большой наблюдаемый рост может оставаться неопределённым при малых выборках. Корректные выводы зависят от дизайна эксперимента. Распределяйте пользователей случайно, сохраняйте назначенный вариант, не учитывайте одну независимую единицу несколько раз, выбирайте основную метрику до просмотра результатов и проводите эксперимент достаточно долго, чтобы охватить обычные циклы. Остановка при первом появлении значимости повышает риск ложноположительных выводов. Несколько метрик, повторные просмотры и многочисленные сравнения вариантов также требуют скорректированного анализа или заранее запланированного последовательного метода. Нормальное приближение лучше работает, когда в каждом варианте достаточно ожидаемых конверсий и отсутствий конверсии. При очень редких исходах может понадобиться точный критерий Фишера или другой точный метод. Статистическая значимость также не защищает от ошибок измерения, эффекта новизны, несоответствия долей выборки, трафика ботов или изменений во время теста. Перед внедрением используйте результат вместе с доверительными интервалами, защитными метриками, порогами практически значимого эффекта и проверкой качества эксперимента.