AB实验常见名词(1):初阶
-
实验组/实验版本 一个实验可以有两个或两个以上的实验版本,针对每个版本下发不同的策略,并观察他们的效果。
-
实验参数 实验参数,指的是对实验业务策略、功能的配置化映射,即不同的实验参数对应的不同的业务策略、功能。
-
分流方式 按比例下发:按照流量比例随机下发。
按标签下发:针对具有某种特性的用户群下发(目前是先进行分流,后进行标签过滤)。
- 白名单 我们可以把白名单理解为一群特殊的实验受众,白名单中包含了人为添加的用户ID。 为此实验指定的白名单用户将在实验分流的情况下被忽略,直接被配置实验组,用以测试实验策略是否正常生效,是否存在bug需要修复。
白名单用户数据不会计入实验结果。
-
人群标签 实验人员可根据自身的需求进行标签新增,标签类型涉及:策略ID、APP版本号、APP平台号、用户标签(性别、新老用户)等等。
-
层域 (1)基本概念
对于一个业务产品而言,用户的流量是一定的。在ab实验中通过层域对流量进行合理划分,保证流量高可用以及分流的灵活性和科学性。
- 域:指垂直划分流量的分区。 并列域之间是互斥的,不重叠的,可以更好地进行互不干扰的实验,所有的流量域加起来共享100%流量。
- 层:域流量的子集,用户流量被划分到不同桶中。同个域下不同层的流量是重叠的,通过hash对流量进行打散,使得多个层之间的用户流量是正交均匀的。
- 桶:用户流量的集合,通过hash函数将层的流量均匀划分到一定数目的桶内。
(2)层域设计
- 普通域: 对流入流量进行划分,可以把流量划分给其包含的 多层域,单层,域。 一个域可以包含多个单层,多个 多层域和普通域。单层与多层流量互斥, 单层与平台域流量互斥,多层域与多层域之间流量互斥。多层域与普通域之间,普通域与普通之间流量正交。
- 多层域:(包含多个层) 特殊的域,只包含层,不能新建单层和域。可以包含多个层,流量依次流入各个层。
- 单层(域):单独的一个层作为一个域,只包含一层。
- 流量分桶 分为“百分桶”、“千分桶”、“万分桶”、“十万分桶”,用于支持流量动态伸缩,实现流量的完全正交。
流量分桶区别:
- 百分桶:实验下线后流量不能再使用,即流量是不可再用状态,因此慎重选择百分桶。(设计缘由:Carry Over问题)
- 千分桶/万分通/十万分桶:即一层由1K/1W/10W个桶组成,理论上桶数越多,波动越少。 每层有12%的不可用流量用于流量打散,减少实验波动。 即每层可用流量为88%。实验下线后流量可复用,因此建议使用十万分桶。(放量或发布后可将实验流量沾满100%)
创建层域时可以选择流量分桶,选定后无法再次修改,请谨慎操作。
- 实验状态
- 调试期: ①实验创建完毕进入调试期,表示实验还未正式开始;②调试期用户不会命中实验,您可测试白名单用户是否命中实验;③调试期没有T+1结果分析,需要进入空跑/实验期才有T+1结果分析。
- 空跑期: 实验开始,编辑流量/设置上线流量后可进行AA空跑验证分流均衡性。建议不进行空跑,直接进入实验期,AA回溯可替代空跑,进行分流校验。
- 实验期: 实验开始,编辑流量/设置上线流量后真正的AB策略会分别生效,会进行实验数据累积。
- 已全量: 这个应用/App的所有线上用户,已生效实验的某个策略。
- 已下线: 实验已下线。
不同的实验状态,可操作的事项,详见:实验列表
- 设置大流量/放量 即增加实验最大流量。
创建实验时,会填入各个实验版本的预计最大流量,创建实验后,实验进入调试期,可以在实验详情页中修改实验的预计最大流量;但实验编辑流量(即流量生效,对用户下发策略)后,最大流量不可编辑,如果此时需要增加实验的最大流量,则需要进行放量操作。
- 编辑流量/设置线上流量
- 整体放量:即想要生效的部分占最大流量的百分比。
- 已上线流量:即实验线上已经生效的流量比例。
- 预计生效流量:即本次流量比例调整后预计生效的流量比例,计算方式:最大流量*整体放量。
- 最大流量:指的是当前实验层当前实验版本线上最大可生效的流量比例,取的值是创建实验时给各版本填写的预计最大流量;在编辑流量前,可在实验详情页进行修改最大流量。(预计生效流量≤最大流量)
另外,切记:
不支持实验中编辑实验组与对照的分配流量比例,这样会造成辛普森悖论。
- 发布/全量发布 我们发现实验组的新策略是较对照组的策略确实带来显著的正向收益且业务侧拉齐认知认为新策略确实需要发布,我们则可以在TAB平台上进行本层直接发布。本层发布是无需业务开发手动更改代码的,但是若涉及其他层的发布,则需要手动修改代码。
12.下线实验 代表当前实验被停止,流量会被释放(百分桶除外)。实验下线的可能情况有:
- 显著正向,准备全量
- 无效果,结束实验
- 实验结果存在争议,下线优化
- 显著负向,下线止损
- 空跑/回溯不通过(碰上小概率事件)
- 实验组和对照组存在天然差异
- 实验信息填写错误
- 仅测试
- 过度曝光 什么情况下会出现过度曝光:假设 A业务有一个实验 a ,该实验用户需要到访具体某个产品页面或模块才算命中实验,采用SDK主动上报方式(没有使用业务场景),B业务有一个实验b采用SDK被动上报,如果b实验没有使用业务场景(使用默认场景0),此时b实验的SDK也会将a实验信息拉取过来进行上报,造成a实验过度曝光。
相关内容: