A/B测试显著性计算器 使用指南

输入两组曝光与转化数据，计算 A/B 测试的统计显著性，判断版本差异是真实效果还是随机波动。

功能说明

输入两组曝光与转化数据，计算 A/B 测试的统计显著性，判断版本差异是真实效果还是随机波动。

典型使用场景

• 两个落地页转化 10% vs 13%，判断差异是否真显著。
• 决定要不要全量推胜出版本，还是继续放量收集数据。
• 避免把随机波动误当成「显著提升」过早下结论。

算例参考

• 两比例 z 检验：A 组 200/2000=10%，B 组 260/2000=13%，两比例 z≈2.45，双侧 p≈0.014<0.05 → 95% 置信下差异显著，可全量推 B。
• 不显著的处理：若 p>0.05（如只差 0.5 个百分点且样本小），结论为「尚不显著」，应继续收集数据或扩大样本，不可贸然全量。

注意事项

本工具纯前端运行，输入内容不上传服务器；结果为按上述口径得到的理论估算值。实际应用受设备参数、测量条件与当地规范影响，请以设备铭牌、检测报告与现行标准为准，重大决策建议咨询专业人士。

p<0.05 就一定该推吗？

p<0.05 只说明差异不太可能由随机造成，还要看提升幅度与业务成本，微小显著也可能不划算。

样本不够怎么办？

按期望提升与基线算出所需样本量再开测，中途看「趋势」停测容易误判。