什么是反转实验？ 反转实验也称作长期反转实验。在A/B实验中，我们会从总体流量中抽取一部分流量，设置实验组（新策略组）与对照组（原策略组），来衡量某个新策略的效果。当实验组的指标胜出后（通常意味着指标正向显著），我们会上线这一新策略（面向全体...

偶然发现创建了 Hugo 文章，但 Hugo 博客却迟迟不更新。原来 Hugo 默认采用的是格林威治时间 (GMT)，比北京时间 (UTC+8) 晚了 8 个小时，而 Hugo 在生成静态页面的时候，不会生成超过格林威治时间的文章，所以导致 Hugo 博客展示新创建的文章要比发表时晚 8 个小时。 如果要使 Hugo 时区和大...

背景信息 二战期间，美国统计学家亚伯拉罕.沃德接受美国海军的邀请，运用统计知识给出战机应该如何加强防护才能降低被炮火击落概率的建议。沃德教授根据盟军轰炸机遭受攻击后的数据，分析研究后发现：分布在机翼的弹孔最多，分布在发动机的弹孔最少，因此美国...

假设检验 （1）为什么要做假设检验？ A/B Test从本质上来说是一个基于统计的假设检验过程：它首先对实验组和对照组的关系提出了某种假设，然后计算这两组数据的差异和确定该差异是否存在统计上的显著性，最后根据上述结果对假设做出判断。 但事实上，我们关心...

空跑期 空跑期时，实验组和对照组使用相同策略进行实验，用于观测检测两组之间的流量是否有差异。 回溯期/AA回溯 AA回溯是是backward trace的重跑，拿实验前的数据比较，是对空跑期的模拟。 3.（多天）累计数据 多天间用户累计去重，实验指标数...

实验组/实验版本 一个实验可以有两个或两个以上的实验版本，针对每个版本下发不同的策略，并观察他们的效果。 实验参数 实验参数，指的是对实验业务策略、功能的配置化映射，即不同的实验参数对应的不同的业务策略、功能。 分流方式 按比例下发：按照流量比例随机...