A/B測試計算機

A/B測試將條件相近的訪客隨機分派至對照體驗及替代體驗，再衡量預先定義的結果，例如購買、註冊、點擊或完成任務。本計算機使用合併比例的雙比例z檢定，比較兩個二元轉換率，提供各組轉換率、相對提升幅度、z分數、雙尾p值，以及結果是否達到慣用的0.05顯著性門檻。 每個版本的轉換率等於轉換數除以訪客數。在兩個版本真實轉換率相同的虛無假設下，計算機會合併兩組樣本的轉換數，以合併轉換率估計差異的標準誤，再將觀察到的轉換率差除以標準誤，得到z分數。雙尾p值衡量的是：若虛無假設成立，出現至少這麼大差異的結果有多罕見。 p值低於0.05通常稱為在百分之九十五的信心水準下具有統計顯著性。這不代表測試版本有百分之九十五的機率更好，也不衡量變更的商業價值。相對提升是將轉換率差與對照組轉換率比較，絕對提升則只是B轉換率減去A轉換率。幅度雖小但統計上可靠的提升，在大規模應用時可能很有價值；樣本較少時，即使觀察到很大的提升，也可能仍不確定。 有效的推論取決於實驗設計。應隨機分派使用者、維持分組穩定，避免重複計算同一獨立單位，在查看結果前選定主要指標，並讓實驗持續足夠長的時間，以涵蓋正常週期。一出現顯著性就停止會提高偽陽性風險。多個指標、反覆查看結果及多版本比較，也需要調整分析方式或採用預先規劃的序列方法。 每個版本都有足夠的預期轉換數與未轉換數時，常態近似效果最好。結果非常稀少時，可能需要費雪精確檢定或其他精確方法。統計顯著性也無法防範追蹤設定錯誤、新奇效應、樣本比例失配、機器人流量或測試期間的變動。決定全面推出前，應搭配信賴區間、護欄指標、實際效果門檻及實驗品質檢視來運用結果。