显著性水平 α 是什么？

α 是'误判差异显著'的可接受风险，常用 0.05（95% 置信）。α 越小越保守，越难判显著。样本小的时候即便 CTR 看着高，也可能因波动大而不显著，需结合样本量看。

样本量不够能下结论吗？

不够时差异极易被噪声掩盖或放大。经验上每组至少数千曝光、数十次点击再检验较稳；未达标前只作方向参考，不宜据此停投某版创意。

Tester 15

Tester 15 - online utility on ToolBox.

📐 工作原理与说明

Key formulas: √(pooledCTR×(1-pooledCTR)×(1÷impA+1÷impB)); 2×(1-normCDF(|(z)|)); |(z)|>zCritical

方案 A 数据

展示次数（曝光）

点击次数

方案 B 数据

展示次数（曝光）

点击次数

显著性水平 α

两创意 CTR 显著性检验

A 组展示 10000、点击 500（CTR 5.0%）；B 组展示 10000、点击 580（CTR 5.8%）。两比例 z 检验 p 值约 0.11（α=0.05 下不显著），说明差距可能来自随机，建议继续放量到每组 3 万+ 曝光再判定。

显著性水平 α 是什么？: α 是'误判差异显著'的可接受风险，常用 0.05（95% 置信）。α 越小越保守，越难判显著。样本小的时候即便 CTR 看着高，也可能因波动大而不显著，需结合样本量看。
样本量不够能下结论吗？: 不够时差异极易被噪声掩盖或放大。经验上每组至少数千曝光、数十次点击再检验较稳；未达标前只作方向参考，不宜据此停投某版创意。

📖关于「创意（CTR/点击率）测试」 ▼

创意 A/B 测试点击率（CTR）统计显著性检验工具，使用双比例 Z 检验计算两方案 CTR 差异的 Z 值、P 值与置信区间，判断创意优劣是否具有统计学意义。