反转实验
什么是反转实验？
反转实验也称作长期反转实验。在A/B实验中，我们会从总体流量中抽取一部分流量，设置实验组（新策略组）与对照组（原策略组），来衡量某个新策略的效果。当实验组的指标胜出后（通常意味着指标正向显著），我们会上线这一新策略（面向全体用户发布新策略）。
此时，为了长期观察新策略的表现，我们会开启一个反转实验：我们从对照组（原策略组，未体验过新策略的用户组）中，抽取一部分流量，再开设一次A/B实验。在这次实验中，实验组中生效的策略是「原实验的旧策略」，对照组中生效的策略是我们所上线的「原实验的新策略」。
即通过反转实验，我们将长期保留一小部分未体验过新策略的流量，与其他受新策略影响的流量做对比，跟踪两部分流量核心指标的变化。理想状况下，反转实验的对照组（新策略组）指标应该呈正向。
为什么要做反转实验？
业务发展迅速、产品迭代频繁、实验观测时间有限，因此通过A/B实验去评判某项策略的优劣时，为了能与时间赛跑，许多业务方在进行短期的观测后，一旦认为实验结果是正向的，符合预期，就会将新策略上线。部分业务方为了快速拿到收益，甚至会在A/B实验结果正向不显著的情况下，也会选择上线新策略。
然而，短期内实验的正向结果，并不足以评判策略的长期收益。在更长的时间范围里，我们所上线的新策略，其指标表现是否出现反复，会否带来其他负面影响呢？这些都需要进行长期观测。
另外，对于部分「实验未正向置信便上线策略」的业务方来说，反转实验可以帮助他们积累足够可信的数据来量化策略的收益。也正是因为这样，「反转实验」逐渐成为A/B实验后期评估的必要环节。
如何做反转实验
方式一： 全量发布的时候，hold out部分流量
在实验发布页面，选择全面某个版本后，hold out部分流量，如下：
方式二：创建一个新的实验，来做长期反转
原实验的优胜组 （A）全量发布后，优胜组的策略替代原线上默认策略（B）变成了线上默认策略。此时可以创建一个新的A/B实验，将策略B设置为实验组。
反转实验的策略配置如下：
- 实验组：生效的策略是「原实验的旧策略」；
- 对照组：生效的策略是我们所全量上线的「原实验的新策略」。
更多实验内容：