反转实验

什么是反转实验? 反转实验也称作长期反转实验。在A/B实验中,我们会从总体流量中抽取一部分流量,设置实验组(新策略组)与对照组(原策略组),来衡量某个新策略的效果。当实验组的指标胜出后(通常意味着指标正向显著),我们会上线这一新策略(面向全体...

2024-05-12 · 929 words

AB实验:样本不均衡 SRM

背景信息 二战期间,美国统计学家亚伯拉罕.沃德接受美国海军的邀请,运用统计知识给出战机应该如何加强防护才能降低被炮火击落概率的建议。沃德教授根据盟军轰炸机遭受攻击后的数据,分析研究后发现:分布在机翼的弹孔最多,分布在发动机的弹孔最少,因此美国...

2023-12-06 · 1556 words

AB实验常见名词(3):高阶

假设检验 (1)为什么要做假设检验? A/B Test从本质上来说是一个基于统计的假设检验过程:它首先对实验组和对照组的关系提出了某种假设,然后计算这两组数据的差异和确定该差异是否存在统计上的显著性,最后根据上述结果对假设做出判断。 但事实上,我们关心...

2023-11-19 · 4620 words

AB实验常见名词(2):中阶

空跑期 空跑期时,实验组和对照组使用相同策略进行实验,用于观测检测两组之间的流量是否有差异。 回溯期/AA回溯 AA回溯是是backward trace的重跑,拿实验前的数据比较,是对空跑期的模拟。 3.(多天)累计数据 多天间用户累计去重,实验指标数...

2023-11-05 · 457 words

AB实验常见名词(1):初阶

实验组/实验版本 一个实验可以有两个或两个以上的实验版本,针对每个版本下发不同的策略,并观察他们的效果。 实验参数 实验参数,指的是对实验业务策略、功能的配置化映射,即不同的实验参数对应的不同的业务策略、功能。 分流方式 按比例下发:按照流量比例随机...

2023-10-28 · 2109 words

AB实验简介

什么是 A/B 实验 A/B 实验源自于生物医学里的双盲测试。在双盲测试中,病人被随机分成两组,在病人不知情的情况下分别给予安慰剂和测试用药进行服用。经过一段时间的观察,实验人员比较这两组病人的病情变化是否具有差异,并以此来判断测试用药是否有效。 互联网公司...

2023-10-12 · 1583 words