PythonAB测试：假设检验与显著性分析流程

本文深入解析了Python中AB测试的假设检验实践要点，明确指出在绝大多数业务场景下应优先选用双样本t检验（scipy.stats.ttest_ind）而非z检验，因其更贴合真实数据中总体标准差未知、样本量有限且分布偏态（如点击率、转化率）的特点；针对二值型指标（如下单与否），推荐使用statsmodels专为比例设计的proportions_ztest以提升稳健性；同时强调必须先按用户或会话聚合数据再进行检验，以确保样本独立性——这些关键细节往往被忽视，却直接决定AB结论的可信度与落地价值。

AB测试该用t检验还是z检验？看样本量和方差是否已知

绝大多数AB测试场景下，你该用ttest_ind（双样本t检验），而不是z检验。因为真实业务数据的总体标准差从来不知道，样本量也常不够大（30且近似正态——这两个条件在点击率、转化率这类偏态分布指标上基本不成立。

实操建议：

• 用scipy.stats.ttest_ind，注意设equal_var=False（默认True会强行假设两组方差相等，但AB组方差常差异明显）
• 如果指标是二值型（如是否下单），优先用proportions_ztest（来自statsmodels.stats.proportion），它专为比例设计，比t检验更稳健
• 别直接对原始点击流做t检验——先按用户/会话聚合，再计算均值，否则违背独立性假设

为什么p值

p值只告诉你“差异不太可能纯属随机”，不等于“这个提升值得推全”。比如10万用户中，CTR从5.00%升到5.05%，p

实操建议：

• 必须提前设定最小可观测效应（min_detectable_effect），并用它反推所需样本量，而不是“跑够7天就停”
• 同时看effect_size（如Cohen’s d或相对提升率），不是只盯p值；用statsmodels.stats.api.ztest可一并返回置信区间
• 如果同时检验多个指标（如CTR、停留时长、付费率），必须校正显著性水平，比如用statsmodels.stats.multitest.multipletests做Bonferroni或FDR校正

AB测试分组不均衡怎么办？不能简单删掉“异常”流量

分组后发现A组10234人、B组9876人，看起来差不多，但若B组恰好多出一批凌晨低活用户，均值偏差就可能掩盖真实效应。强行截断或重抽样会破坏随机性，引入选择偏差。

实操建议：

• 检查分流日志，确认user_id哈希逻辑是否一致，有没有缓存导致同一用户反复进A组
• 用scipy.stats.chi2_contingency检验分组是否与关键协变量（如新老用户、地域）独立；若不独立，需分层分析或加协变量回归
• 上线前必须跑pre-test：分流后、实验前，验证两组基线指标（如昨日DAU、平均PV）无统计差异（p>0.1）

Python里怎么快速算置信区间？别手写公式，用现成方法

手动套用mean ± 1.96 * std/sqrt(n)只适用于大样本z检验，且默认正态、同方差——AB测试里这两条都容易翻车。更稳妥的是用bootstrap或直接调库。

实操建议：

• 对连续型指标（如人均订单金额），用scipy.stats.bootstrap（v1.9+）做非参数bootstrap，设n_resamples=10000，比t分布假设更鲁棒
• 对二值指标（如转化率），用statsmodels.stats.proportion.proportion_confint，推荐method='agresti_coull'，小样本下比Wald法准确得多
• 所有置信区间必须和假设检验用同一数据集、同一聚合粒度，否则对比失效

最麻烦的不是算不准p值，而是把用户ID当成独立观测单位却没去重，或者把一天内多次曝光当多个样本——这些错误没法靠换检验方法补救。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~