什么是反转实验?

反转实验也称作长期反转实验。在A/B实验中,我们会从总体流量中抽取一部分流量,设置实验组(新策略组)与对照组(原策略组),来衡量某个新策略的效果。当实验组的指标胜出后(通常意味着指标正向显著),我们会上线这一新策略(面向全体用户发布新策略)。

此时,为了长期观察新策略的表现,我们会开启一个反转实验:我们从对照组(原策略组,未体验过新策略的用户组)中,抽取一部分流量,再开设一次A/B实验。在这次实验中,实验组中生效的策略是「原实验的旧策略」,对照组中生效的策略是我们所上线的「原实验的新策略」。

即通过反转实验,我们将长期保留一小部分未体验过新策略的流量,与其他受新策略影响的流量做对比,跟踪两部分流量核心指标的变化。理想状况下,反转实验的对照组(新策略组)指标应该呈正向。

什么是反转实验?

为什么要做反转实验?

业务发展迅速、产品迭代频繁、实验观测时间有限,因此通过A/B实验去评判某项策略的优劣时,为了能与时间赛跑,许多业务方在进行短期的观测后,一旦认为实验结果是正向的,符合预期,就会将新策略上线。部分业务方为了快速拿到收益,甚至会在A/B实验结果正向不显著的情况下,也会选择上线新策略。

然而,短期内实验的正向结果,并不足以评判策略的长期收益。在更长的时间范围里,我们所上线的新策略,其指标表现是否出现反复,会否带来其他负面影响呢?这些都需要进行长期观测。

另外,对于部分「实验未正向置信便上线策略」的业务方来说,反转实验可以帮助他们积累足够可信的数据来量化策略的收益。也正是因为这样,「反转实验」逐渐成为A/B实验后期评估的必要环节。

如何做反转实验

方式一: 全量发布的时候,hold out部分流量

在实验发布页面,选择全面某个版本后,hold out部分流量,如下:

如何做反转实验?

方式二:创建一个新的实验,来做长期反转

原实验的优胜组 (A)全量发布后,优胜组的策略替代原线上默认策略(B)变成了线上默认策略。此时可以创建一个新的A/B实验,将策略B设置为实验组。

反转实验的策略配置如下:

  • 实验组:生效的策略是「原实验的旧策略」;
  • 对照组:生效的策略是我们所全量上线的「原实验的新策略」。