警惕Google Analytics A/B测试陷阱

AB测试是搜索营销管理员非常喜欢的一种优化手段，但这并非SEM乃至在线营销的专利。本质上这就是可控实验：如果我们想针对SEM管理中的某个因素优化，就必须保持其他因素恒定以过滤掉可能的干扰。

举个具体的例子，在SEM管理中最常使用的一种AB测试是广告词测试。同一系列的同一分组中同时投放广告词A与广告词B，两则广告轮流展示（even rotation），那这两则广告得到的展现几率是大致相当的。

近似的展现几率下，AB广告词如果表现出了CTR与CVR的差异，我们就可以判定哪一条广告词更好。

判定以后，我们砍掉表现不好的广告词（比如B），然后加入一条新的广告词B，重新开始一轮AB测试。我们可以不断地进行这样的测试，直到我们确信在运行的广告词是最好的。

当然，测试内容不局限于广告词，可以是到达页面，可以是URL。测试也不需要局限于一个分组内，可以是系列，可以是目标市场，可以是转化路径，也可以是Offer。这是非常简单的测试，然而是很有效的优化手段。如果你是一个搜索营销管理员，暂时觉得手头没有什么事情可以做的话，说明你懒惰了。因为你永远都可以做些AB测试来深入优化。

任何工具或者方法都有其局限，AB测试也不例外。这篇博文将要讨论几个AB测试陷阱，供大家借鉴。为了方便起见，主要引用的案例或者图表是SEM管理的，但基本准则其实放之四海而皆准。

陷阱1：轮流展示。

我们对比方案A与方案B，首先要保证两者所处的测试环境基本接近。在谷歌Adwords系统中，测试不同广告语可以选择轮流展示。

我翻译成轮流展示，而非字面翻译的“轮转：平均展示”，因为意义不同。理论上，先展示广告语A，然后展示广告语B，这是轮流展示。平均展示可能是广告语A与B获得的展现量和点击量接近，但要是A是在下午获得大部分展示点击，而B在夜间获得，则两组数据来源可能不同，横向对比会产生偏差。

谷歌站长工具中的AB测试功能也使用轮流展示方案。

轮流展示是默认的AB测试设置，但测试者不能因此忘记轮流展示的原理，也即相对公平性。注意Adwords提示中说的是轮转会“尽可能平均展示”。尽可能的意思就是不保证。实际上，在选定该设定后，出现的结果仍然可能是既不轮流也不平均。这是因为Adwords是个竞价系统，广告语A和广告语B获得同样公平的机会进入同一个竞价，但在竞价过程中，质量得分高的那条广告语会有更多胜出机会。所以AB短期内获得的展示点击量可能差别很大。在设置AB测试的时候，应该尽量使用新鲜的广告语，如果让历史记录较长的A与新鲜的B对抗，则A本身可能获得更多展示和点击，不完全公平。

要注意，这种情况发生以后，谷歌有可能会做一些平衡，让两者之间的差距相对缩短。这样的情况下，这种展示可能更多是平均展示，而非轮流展示了。所以如果第一天两者差距很大，第二天接近，第三天反超，这种情况下要小心数据有效性，有可能纳入了更多的干扰因素。

在网站测试中，AB不是竞价对抗，不会有这个质量得分因素，但仍应该注意展示数据对比的变化。