Calculateur de test A/B

Un test A/B répartit aléatoirement des visiteurs comparables entre une expérience témoin et une autre expérience, puis mesure un résultat prédéfini : achat, inscription, clic ou tâche terminée. Ce calculateur compare deux taux de conversion binaires à l'aide d'un test z de deux proportions avec proportion combinée. Il indique chaque taux, le gain relatif, le score z, une valeur p bilatérale et si le résultat franchit le seuil conventionnel de significativité de 0.05. Pour chaque variante, le taux de conversion correspond aux conversions divisées par les visiteurs. Sous l'hypothèse nulle de taux sous-jacents identiques, le calculateur regroupe les conversions des deux échantillons. Il utilise la proportion combinée pour estimer l'erreur standard de la différence, puis divise la différence observée entre les taux par cette erreur pour obtenir le score z. La valeur p bilatérale mesure à quel point une différence au moins aussi grande serait surprenante si l'hypothèse nulle était vraie. Une valeur p inférieure à 0.05 est couramment qualifiée de statistiquement significative au niveau de confiance de quatre-vingt-quinze pour cent. Cela ne signifie pas que la variante test a cette probabilité d'être meilleure, et ne mesure pas la valeur commerciale du changement. Le gain relatif rapporte la différence entre les taux au taux témoin, tandis que le gain absolu est simplement le taux B moins le taux A. Un gain faible mais statistiquement fiable peut avoir une grande valeur à grande échelle ; un gain observé important peut rester incertain avec de petits échantillons. La validité des conclusions dépend du plan expérimental. Répartissez les utilisateurs au hasard, conservez leur affectation, évitez de compter plusieurs fois la même unité indépendante, choisissez la métrique principale avant de regarder les résultats et couvrez une durée suffisante pour observer les cycles habituels. Arrêter dès qu'une significativité apparaît augmente le risque de faux positifs. Plusieurs métriques, des consultations répétées et de nombreuses comparaisons de variantes nécessitent aussi une analyse ajustée ou une méthode séquentielle planifiée. L'approximation normale fonctionne mieux lorsque chaque variante présente assez de conversions et de non-conversions attendues. Des résultats très rares peuvent nécessiter le test exact de Fisher ou une autre méthode exacte. La significativité ne protège pas non plus des erreurs de mesure, des effets de nouveauté, d'une répartition d'échantillon déséquilibrée, du trafic automatisé ou des changements survenus pendant le test. Avant un déploiement, associez ce résultat aux intervalles de confiance, aux métriques de garde-fou, aux seuils d'effet pratique et à une évaluation de la qualité de l'expérience.