A/B测试显著性计算器 - 免费统计工具

A/B测试（又称分流测试）是一种将两个版本的网页、应用或其他营销资产进行对比，以确定哪一个表现更好的方法。它是测试用户体验和营销效果变更的有力工具，帮助您了解什么有效、什么无效。

对照组与实验组

在A/B测试中，您需要创建两个不同的版本。‘对照组’（A版本）是现有版本，‘实验组’（B版本）是您想要测试更改的新版本。流量在两个版本间分配，通过用户行为衡量哪个版本更有效地实现目标（如按钮点击、购买等）。

统计显著性的重要性

仅仅看到B版本转化次数多于A版本还不够，您需要知道这个结果是否具有统计显著性。这意味着要判断差异是由更改引起还是纯属偶然。如果结果具有统计显著性，您可以更有信心地实施更改，因为它很可能带来性能提升。

1. 定义您的版本

首先，确定您的对照组（A版本）和实验组（B版本）。对照组是基线——原始版本。实验组是您要测试的新版本。

2. 输入访问和转化数据

对于两个版本，分别输入访问总人数（或用户、会话、邮件收件人）和转化次数（如点击、注册、购买）。确保数据准确且收集周期足够。

3. 选择置信水平

选择置信水平，表示您对结果的信心程度。95%置信水平在商业和营销中最常用，意味着只有5%的概率结果是偶然的。

4. 分析输出结果

计算器会给出多个关键指标：转化率、P值、Z值和结论。其中最重要的是P值。P值低于显著性水平（如95%置信度下为0.05）表示结果具有统计显著性。

优化营销活动

市场人员通过A/B测试优化邮件主题、广告文案、号召性用语（CTA）按钮和落地页布局。简单的按钮文案更改也可能带来显著的点击和销售提升。

提升用户体验（UX）

设计师和开发者测试不同的布局、导航结构和配色方案，以打造更直观、愉悦的用户体验。例如，可通过A/B测试简化结账流程，看看是否能减少购物车放弃率。

验证新功能

产品经理可将新功能推送给一小部分用户（实验组），并与未获得该功能的用户（对照组）进行对比，衡量参与度和满意度。这有助于在全面上线前验证新功能的价值。

1. 转化率 (p̂)

每个版本的转化率为转化次数除以访问人数。公式：p̂ = 转化次数 / 访问人数

2. 差异的标准误 (SE)

对比两个版本时，先计算合并转化率（p̂pool），再计算差异的标准误。SE公式：sqrt(p̂pool (1 - p̂_pool) (1/nA + 1/nB))

3. Z值

Z值衡量两个转化率之间的差异距离零假设（无差异）有多少个标准误。公式：Z = (p̂B - p̂A) / SE

4. P值

P值由Z值推导而来，表示在无差异假设下，观察到当前或更极端结果的概率。较小的P值（通常<0.05）表明观察到的差异不太可能是偶然造成的。