顯著性水平 α 是什麼？

α 是'誤判差異顯著'的可接受風險，常用 0.05（95% 置信）。α 越小越保守，越難判顯著。樣本小的時候即便 CTR 看著高，也可能因波動大而不顯著，需結合樣本量看。

樣本量不夠能下結論嗎？

不夠時差異極易被噪聲掩蓋或放大。經驗上每組至少數千曝光、數十次點選再檢驗較穩；未達標前只作方向參考，不宜據此停投某版創意。

Tester 15

Tester 15 - online utility on ToolBox.

📐 工作原理與說明

Key formulas: √(pooledCTR×(1-pooledCTR)×(1÷impA+1÷impB)); 2×(1-normCDF(|(z)|)); |(z)|>zCritical

方案 A 資料

展示次數（曝光）

點選次數

方案 B 資料

展示次數（曝光）

點選次數

顯著性水平 α

兩創意 CTR 顯著性檢驗

A 組展示 10000、點選 500（CTR 5.0%）；B 組展示 10000、點選 580（CTR 5.8%）。兩比例 z 檢驗 p 值約 0.11（α=0.05 下不顯著），說明差距可能來自隨機，建議繼續放量到每組 3 萬+ 曝光再判定。

顯著性水平 α 是什麼？: α 是'誤判差異顯著'的可接受風險，常用 0.05（95% 置信）。α 越小越保守，越難判顯著。樣本小的時候即便 CTR 看著高，也可能因波動大而不顯著，需結合樣本量看。
樣本量不夠能下結論嗎？: 不夠時差異極易被噪聲掩蓋或放大。經驗上每組至少數千曝光、數十次點選再檢驗較穩；未達標前只作方向參考，不宜據此停投某版創意。

📖關於「創意（CTR/點選率）測試」 ▼

創意 A/B 測試點選率（CTR）統計顯著性檢驗工具，使用雙比例 Z 檢驗計算兩方案 CTR 差異的 Z 值、P 值與置信區間，判斷創意優劣是否具有統計學意義。