显著性水平 α 是什么？

α 是'误判差异显著'的可接受风险，常用 0.05（95% 置信）。α 越小越保守，越难判显著。样本小的时候即便 CTR 看着高，也可能因波动大而不显著，需结合样本量看。

样本量不够能下结论吗？

不够时差异极易被噪声掩盖或放大。经验上每组至少数千曝光、数十次点击再检验较稳；未达标前只作方向参考，不宜据此停投某版创意。

创意（CTR/点击率）测试

Tester 15

Tester 15 - online utility on ToolBox.

📐 工作原理与说明

A/B 测试 CTR 双样本比例 z 检验
CTR = 点击数 ÷ 展示数；合并 CTR = (clickA+clickB) ÷ (impA+impB)
标准误 SE = √[p̄(1−p̄) × (1/impA + 1/impB)]
Z 统计量 = (CTR_B − CTR_A) ÷ SE
P 值（双侧）= 2 × [1 − Φ(|Z|)]
临界 Z：α=0.05 → 1.96｜α=0.01 → 2.576｜α=0.10 → 1.645
显著性判定：|Z| > Z临界 → 差异显著
相对提升 = (CTR_B − CTR_A) ÷ CTR_A × 100%
差异置信区间 = 差值 ± Z临界 × SE（显著性水平 (1−α)）
样本量检查：每组曝光 ≥5000 保证统计效力
约束：点击次数不得超过展示次数

Key formulas: √(pooledCTR×(1-pooledCTR)×(1÷impA+1÷impB)); 2×(1-normCDF(|(z)|)); |(z)|>zCritical

方案 A 数据

展示次数（曝光）

点击次数

方案 B 数据

展示次数（曝光）

点击次数

显著性水平 α

📚 深度解析：创意（CTR/点击率）测试

💡 常见使用场景

A/B 两组创意各给展示与点击数，算各自 CTR，初步看哪版更吸睛。
用两比例 z 检验判断 CTR 差异是否统计显著，避免把随机波动当胜出。
样本不足时提示加大曝光或更换显著性水平，再下结论。

两创意 CTR 显著性检验

A 组展示 10000、点击 500（CTR 5.0%）；B 组展示 10000、点击 580（CTR 5.8%）。两比例 z 检验 p 值约 0.11（α=0.05 下不显著），说明差距可能来自随机，建议继续放量到每组 3 万+ 曝光再判定。

❓ 常见问题（FAQ）

显著性水平 α 是什么？: α 是'误判差异显著'的可接受风险，常用 0.05（95% 置信）。α 越小越保守，越难判显著。样本小的时候即便 CTR 看着高，也可能因波动大而不显著，需结合样本量看。
样本量不够能下结论吗？: 不够时差异极易被噪声掩盖或放大。经验上每组至少数千曝光、数十次点击再检验较稳；未达标前只作方向参考，不宜据此停投某版创意。

📖关于「创意（CTR/点击率）测试」 ▼

📝工具简介

创意 A/B 测试点击率（CTR）统计显著性检验工具，使用双比例 Z 检验计算两方案 CTR 差异的 Z 值、P 值与置信区间，判断创意优劣是否具有统计学意义。

✨功能特点

双比例 Z 检验，统计严谨
P 值、置信区间完整输出
支持 90%/95%/99% 置信度
自动给出方案采纳建议

🎯使用场景

广告创意 A/B 测试分析
落地页/标题点击率对比
投放素材优化决策
实验结果统计检验