A/B測試顯著性計算器 使用指南

輸入兩組曝光與轉化資料，計算 A/B 測試的統計顯著性，判斷版本差異是真實效果還是隨機波動。

功能說明

輸入兩組曝光與轉化資料，計算 A/B 測試的統計顯著性，判斷版本差異是真實效果還是隨機波動。

典型使用場景

• 兩個落地頁轉化 10% vs 13%，判斷差異是否真顯著。
• 決定要不要全量推勝出版本，還是繼續放量收集資料。
• 避免把隨機波動誤當成「顯著提升」過早下結論。

算例參考

• 兩比例 z 檢驗：A 組 200/2000=10%，B 組 260/2000=13%，兩比例 z≈2.45，雙側 p≈0.014<0.05 → 95% 置信下差異顯著，可全量推 B。
• 不顯著的處理：若 p>0.05（如只差 0.5 個百分點且樣本小），結論為「尚不顯著」，應繼續收集資料或擴大樣本，不可貿然全量。

注意事項

本工具純前端執行，輸入內容不上傳伺服器；結果為按上述口徑得到的理論估算值。實際應用受裝置引數、測量條件與當地規範影響，請以裝置銘牌、檢測報告與現行標準為準，重大決策建議諮詢專業人士。

p<0.05 就一定該推嗎？

p<0.05 只說明差異不太可能由隨機造成，還要看提升幅度與業務成本，微小顯著也可能不划算。

樣本不夠怎麼辦？

按期望提升與基線算出所需樣本量再開測，中途看「趨勢」停測容易誤判。