创意（CTR/点击率）测试 使用指南
A/B 测试点击率（CTR）统计显著性检验，计算 Z 值、P 值与置信区间
功能说明
A/B 测试点击率（CTR）统计显著性检验，计算 Z 值、P 值与置信区间
典型使用场景
- A/B 两组创意各给展示与点击数，算各自 CTR，初步看哪版更吸睛。
- 用两比例 z 检验判断 CTR 差异是否统计显著，避免把随机波动当胜出。
- 样本不足时提示加大曝光或更换显著性水平，再下结论。
算例参考
- 两创意 CTR 显著性检验：A 组展示 10000、点击 500（CTR 5.0%）；B 组展示 10000、点击 580（CTR 5.8%）。两比例 z 检验 p 值约 0.11（α=0.05 下不显著），说明差距可能来自随机，建议继续放量到每组 3 万+ 曝光再判定。
注意事项
本工具纯前端运行，输入内容不上传服务器；结果为按上述口径得到的理论估算值。实际应用受设备参数、测量条件与当地规范影响，请以设备铭牌、检测报告与现行标准为准，重大决策建议咨询专业人士。
- 显著性水平 α 是什么？
- α 是'误判差异显著'的可接受风险，常用 0.05（95% 置信）。α 越小越保守，越难判显著。样本小的时候即便 CTR 看着高，也可能因波动大而不显著，需结合样本量看。
- 样本量不够能下结论吗？
- 不够时差异极易被噪声掩盖或放大。经验上每组至少数千曝光、数十次点击再检验较稳；未达标前只作方向参考，不宜据此停投某版创意。