Calculadora de teste A/B

Um teste A/B distribui aleatoriamente visitantes comparáveis entre uma experiência de controle e outra alternativa, depois mede um resultado predefinido, como compra, cadastro, clique ou tarefa concluída. Esta calculadora compara duas taxas de conversão binárias com um teste z de duas proporções usando proporção combinada. Ela apresenta cada taxa, o aumento relativo, o escore z, um valor p bilateral e se o resultado ultrapassa o limiar convencional de significância de 0.05. Para cada variante, a taxa de conversão é o número de conversões dividido pelo de visitantes. Sob a hipótese nula de que as variantes têm a mesma taxa subjacente, a calculadora combina as conversões das duas amostras. Usa essa proporção combinada para estimar o erro-padrão da diferença e divide a diferença observada entre taxas pelo erro-padrão para obter o escore z. O valor p bilateral mede quão surpreendente seria uma diferença pelo menos tão grande se a hipótese nula fosse verdadeira. Um valor p abaixo de 0.05 costuma ser descrito como estatisticamente significativo no nível de confiança de noventa e cinco por cento. Isso não significa que exista essa probabilidade de a variante de teste ser melhor, nem mede o valor de negócio da mudança. O aumento relativo compara a diferença entre taxas com a taxa de controle; o aumento absoluto é simplesmente a taxa B menos a taxa A. Um ganho pequeno, mas estatisticamente confiável, pode ter grande valor em escala, enquanto um ganho observado grande pode continuar incerto em amostras pequenas. A inferência válida depende do desenho experimental. Distribua usuários aleatoriamente, mantenha a atribuição estável, evite contar a mesma unidade independente várias vezes, escolha a métrica principal antes de examinar os resultados e execute o experimento por tempo suficiente para captar ciclos normais. Parar assim que surge significância aumenta o risco de falsos positivos. Várias métricas, consultas repetidas e muitas comparações entre variantes também exigem análise ajustada ou um método sequencial planejado. A aproximação normal funciona melhor quando cada variante tem conversões e não conversões esperadas em quantidade suficiente. Resultados muito raros podem exigir o teste exato de Fisher ou outro método exato. A significância estatística também não protege contra erros de instrumentação, efeitos de novidade, desvio na proporção amostral, tráfego de bots ou mudanças durante o teste. Antes de decidir pela implementação, use o resultado com intervalos de confiança, métricas de proteção, limiares de efeito prático e uma revisão da qualidade do experimento.