A/B測試顯著性計算器

📊 A/B Test Significance Calculator

Test whether an A/B experiment result is statistically significant.

A/B 測試顯著性:兩比例 z 檢驗,z =(pA − pB)÷ √[p̂(1 − p̂)(1/nA + 1/nB)],p̂ 為合併轉化率;據 z 查標準正態得 p 值,p 小於0.05 差異顯著。

📚 深度解析:A/B 測試顯著性檢驗

💡 常見使用場景

  • 兩個落地頁轉化 10% vs 13%,判斷差異是否真顯著。
  • 決定要不要全量推勝出版本,還是繼續放量收集資料。
  • 避免把隨機波動誤當成「顯著提升」過早下結論。
兩比例 z 檢驗
A 組 200/2000=10%,B 組 260/2000=13%,兩比例 z≈2.45,雙側 p≈0.014<0.05 → 95% 置信下差異顯著,可全量推 B。
不顯著的處理
若 p>0.05(如只差 0.5 個百分點且樣本小),結論為「尚不顯著」,應繼續收集資料或擴大樣本,不可貿然全量。

❓ 常見問題(FAQ)

p<0.05 就一定該推嗎?
p<0.05 只說明差異不太可能由隨機造成,還要看提升幅度與業務成本,微小顯著也可能不划算。
樣本不夠怎麼辦?
按期望提升與基線算出所需樣本量再開測,中途看「趨勢」停測容易誤判。
⚠️ 使用說明與注意事項
📖關於「A/B測試顯著性計算器」 ▼

📝工具簡介

A/B測試顯著性計算器。營銷分析工具,幫助量化評估營銷效果與 ROI。

✨功能特點

🎯使用場景