A/B测试显著性计算器

📊 A/B Test Significance Calculator

Test whether an A/B experiment result is statistically significant.

A/B 测试显著性:两比例 z 检验,z =(pA − pB)÷ √[p̂(1 − p̂)(1/nA + 1/nB)],p̂ 为合并转化率;据 z 查标准正态得 p 值,p 小于0.05 差异显著。

📚 深度解析:A/B 测试显著性检验

💡 常见使用场景

  • 两个落地页转化 10% vs 13%,判断差异是否真显著。
  • 决定要不要全量推胜出版本,还是继续放量收集数据。
  • 避免把随机波动误当成「显著提升」过早下结论。
两比例 z 检验
A 组 200/2000=10%,B 组 260/2000=13%,两比例 z≈2.45,双侧 p≈0.014<0.05 → 95% 置信下差异显著,可全量推 B。
不显著的处理
若 p>0.05(如只差 0.5 个百分点且样本小),结论为「尚不显著」,应继续收集数据或扩大样本,不可贸然全量。

❓ 常见问题(FAQ)

p<0.05 就一定该推吗?
p<0.05 只说明差异不太可能由随机造成,还要看提升幅度与业务成本,微小显著也可能不划算。
样本不够怎么办?
按期望提升与基线算出所需样本量再开测,中途看「趋势」停测容易误判。
⚠️ 使用说明与注意事项
📖关于「A/B测试显著性计算器」 ▼

📝工具简介

A/B测试显著性计算器。营销分析工具,帮助量化评估营销效果与 ROI。

✨功能特点

🎯使用场景