A/B-Test-Rechner

Ein A/B-Test teilt vergleichbare Besucher zufällig einer Kontroll- und einer alternativen Nutzererfahrung zu und misst ein vorab festgelegtes Ergebnis, etwa Kauf, Registrierung, Klick oder abgeschlossene Aufgabe. Dieser Rechner vergleicht zwei binäre Conversion-Raten mit einem z-Test für zwei Anteile unter Verwendung eines gepoolten Anteils. Er zeigt beide Raten, die relative Steigerung, den z-Wert, einen zweiseitigen p-Wert und das Erreichen der üblichen Signifikanzschwelle von 0.05 an. Die Conversion-Rate jeder Variante ist die Zahl der Conversions geteilt durch die Besucherzahl. Unter der Nullhypothese gleicher zugrunde liegender Raten fasst der Rechner die Conversions beider Stichproben zusammen. Mit diesem gepoolten Anteil schätzt er den Standardfehler der Differenz und teilt die beobachtete Ratendifferenz durch diesen Standardfehler, um den z-Wert zu erhalten. Der zweiseitige p-Wert beschreibt, wie ungewöhnlich eine mindestens so große Differenz wäre, wenn die Nullhypothese zuträfe. Ein p-Wert unter 0.05 wird üblicherweise als statistisch signifikant bei einem Konfidenzniveau von fünfundneunzig Prozent bezeichnet. Das bedeutet nicht, dass die Testvariante mit dieser Wahrscheinlichkeit besser ist, und misst auch nicht den geschäftlichen Wert der Änderung. Die relative Steigerung setzt die Ratendifferenz ins Verhältnis zur Kontrollrate; die absolute Steigerung ist lediglich Rate B minus Rate A. Ein kleiner, statistisch belastbarer Zuwachs kann in großem Maßstab wertvoll sein, während ein großer beobachteter Zuwachs bei kleinen Stichproben unsicher bleiben kann. Gültige Schlussfolgerungen hängen vom Versuchsdesign ab. Teilen Sie Nutzer zufällig zu, halten Sie die Zuordnung stabil, zählen Sie dieselbe unabhängige Einheit nicht mehrfach, legen Sie die Hauptkennzahl vor der Ergebnisbetrachtung fest und lassen Sie den Versuch lange genug für normale Zyklen laufen. Beim ersten signifikanten Ergebnis zu stoppen erhöht das Risiko falsch positiver Befunde. Mehrere Kennzahlen, wiederholte Zwischenanalysen und viele Variantenvergleiche benötigen ebenfalls eine angepasste Analyse oder ein geplantes sequenzielles Verfahren. Die Normalapproximation funktioniert am besten, wenn jede Variante genügend erwartete Conversions und Nicht-Conversions hat. Sehr seltene Ergebnisse können Fishers exakten Test oder eine andere exakte Methode erfordern. Statistische Signifikanz schützt auch nicht vor Messfehlern, Neuheitseffekten, abweichenden Stichprobenverhältnissen, Bot-Traffic oder Änderungen während des Tests. Nutzen Sie das Ergebnis vor einer Einführung zusammen mit Konfidenzintervallen, Schutzkennzahlen, praktisch relevanten Effektschwellen und einer Prüfung der Versuchsqualität.