創意（CTR/點選率）測試 使用指南
A/B 測試點選率（CTR）統計顯著性檢驗，計算 Z 值、P 值與置信區間
功能說明
A/B 測試點選率（CTR）統計顯著性檢驗，計算 Z 值、P 值與置信區間
典型使用場景
- A/B 兩組創意各給展示與點選數，算各自 CTR，初步看哪版更吸睛。
- 用兩比例 z 檢驗判斷 CTR 差異是否統計顯著，避免把隨機波動當勝出。
- 樣本不足時提示加大曝光或更換顯著性水平，再下結論。
算例參考
- 兩創意 CTR 顯著性檢驗：A 組展示 10000、點選 500（CTR 5.0%）；B 組展示 10000、點選 580（CTR 5.8%）。兩比例 z 檢驗 p 值約 0.11（α=0.05 下不顯著），說明差距可能來自隨機，建議繼續放量到每組 3 萬+ 曝光再判定。
注意事項
本工具純前端執行，輸入內容不上傳伺服器；結果為按上述口徑得到的理論估算值。實際應用受裝置引數、測量條件與當地規範影響，請以裝置銘牌、檢測報告與現行標準為準，重大決策建議諮詢專業人士。
- 顯著性水平 α 是什麼？
- α 是'誤判差異顯著'的可接受風險，常用 0.05（95% 置信）。α 越小越保守，越難判顯著。樣本小的時候即便 CTR 看著高，也可能因波動大而不顯著，需結合樣本量看。
- 樣本量不夠能下結論嗎？
- 不夠時差異極易被噪聲掩蓋或放大。經驗上每組至少數千曝光、數十次點選再檢驗較穩；未達標前只作方向參考，不宜據此停投某版創意。