如何看待网站分析数据可能存在的偏差(2)

http://www.itjxue.com  2015-07-29 22:02  来源:未知  点击次数: 

Page Tag的误差:

image

Page Tag失效:

Page Tag失效是会发生的。首先,一部分浏览器(例如手机上的一些浏览器)不支持JavaScript或者被设置为JavaScript禁止。其次,Page Tag可能会因为它之前的JavaScript出错而无法运行。再次,我们也看到过因为变量名冲突而发生Page Tag和页面上其他JavaScript冲突而无法运行的案例。最后,受网络速度的影响,页面上的Page Tag没有完全下载,浏览器就可能被人为关闭或者直接链向一个新的页面。

显然,如果Page Tag失效,那么网站分析工具就会失去部分或者全部数据。

Page Tag的位置:

Page Tag在页面中的位置会影响网站分析工具的计数。如果Page Tag在页面的上端,那么它会更快的被执行,受到其他因素(例如Page Tag之前其他JavaScript失效或者网速问题)干扰的情况就越小,计数也就会因此增大。Stone Temple Consulting的统计表明,代码在上的情况下,Visitor计数比在页面下的多4.3%。

Unique Visitor的误差:

一个计算机可能被多人使用;一个计算机可能有多个浏览器(造成访问同一个网站有多个Cookie);人们会删除Cookie(2007年comScore的统计表明,一个月内有30%的美国用户会删除浏览器的Cookie);Cookie被禁用(尽管WA工具一般都使用第一方Cookie,但仍有约10%不到的第一方Cookie会被用户设为禁止)。

Page View的误差:主要由Page Tag失效引起。

时间记录的误差:同Server Log一样,Page Tag能够准确记录访问开始的时间,但是结束时间无法了解,因为一般情况下访问的结束并不会触发Page Tag的执行。

由于诸如Page View,访问者和访问时间之类的基本的度量实际上是无法准确记录的,因为其他一些更高级的度量,例如我们常用的复合度量(Bounce Rate,Avg. Time on Site)就更不可能准确了。不过,知道了这些误差产生的原因,有助于我们进一步修正误差。有些监测工具(例如DoubleClick,一个广告监测工具)具有自修正功能,就是利用了这个原理。

其他监测方法的误差:

网站分析的其他获取数据的方式——比如通过客户端的软件搜集数据(Alexa,iResearch等),以及Sniffer(包嗅探)——则因其本身的监测方式所限,会有更大的误差。例如,通过客户端来搜集数据,很显然存在样本量的偏差;而Sniffer本质上是Server Log方式的翻版,但却增加了包丢失以及数据记录有限的问题。它们不可能比我们前面的两种方法更准确。

网站分析工具精确吗?

现在,你知道了网站分析工具并不能准确计数。那么,网站分析工具精确吗?

我要说,精确是网站分析工具的必备特征,网站分析工具做不到准确,但必须精确。如果某个网站分析工具不精确,那么它就与垃圾无异。

网站分析工具必须精确的原因很简单,因为我们需要数据具有高度的一致性。如图4(下图)所示,如果网站分析工具的精确度存在-20%到+20%的误差,那么假设11月4日的网站准确流量是50个UV,网站分析工具所报告的数值可能是40和60之间的任何一个数。同样,我们假设次日(11月5日)的网站准确流量是51个UV,那么网站分析工具所报告的数值可能是41到61之间的任何数。那么,因为存在不精确,那么11月4日的数据有可能最终呈现40,而11月5日的数据则完全可能被最终呈现为61,这样网站分析工具会误报出一个令人满意的增长——但事实上这个增长并不存在。反过来,如果11月4日的数据被报为60,而次日被报为41,那么更糟糕,这与实际情况是完全相反的。

image

图4:如果网站分析工具不精确会产生严重后果

因此网站分析工具必须精确,如果它与事实有-20%的误差,那么不论是哪一天哪一刻,它都必须比准确值小20%。否则我们就会得到错误的结论。当然,100%的精确也是不存在的,一般而言,允许+/-5%左右的系统偏差,这一来一去其实已经有最大10%的分离度,实际上已经是非常宽的标准了。

网站分析工具不能做到100%精确的原因其实也是受跟上一节的那些因素一样的影响,另外还有一些网站访问者所处环境的变化造成的未知异常,例如网络带宽的变化或是数据传输过程中的异常丢失等。

那么,我们实际使用的网站分析工具精确度如何?如果5颗星是满分最精确的话,那么:

Google Analytics,精确度3颗半星,可以及格。但是我们的朋友Ben(曾海银)和我都发现Google Analytics并不完全精确,这可能与数据的再处理有关系。Ben的案例中出现了+/-20%的情况,但极为罕见。其他的朋友有发现吗?

Omniture,精确度4颗星,较好。当然,我没有办法去验证,只是因为他们家的数据比较少给我惹麻烦,也比较少有无法解释的时候。但是Omniture的问题在于,定义的度量太多,且相同度量的定义在不同场合给出的数值不完全一致——实在是一个太庞大的数据系统了。

[版权归作者Sidney Song(宋星)所有,欢迎转载,但请事先告知作者并注明出处]

WebTrends,4颗半星。评分较高的原因在于WebTrends是实施在网站服务器端,或者是被网站所有者所拥有的,所以被外界环境干扰的情况相对较少。这是一个先天优势,毋庸置疑。

如何面对网站分析工具的不准确但精确的特性?

网站分析工具不准确但精确的特性不妨碍我们获得真正的insight(见解)。我们需要遵循三个网站分析的基本原则(简直是我压箱子底的宝贝了):

原则一:趋势。

看趋势而不是看孤立数据是网站分析最重要的原则。你不可能因为网站今天的流量是500个而狂喜,但是如果上个月的平均流量是300,而这个月的平均流量是500,那么我会恭喜你,你也值得高兴一番。我们在以前的文章中对这个有讨论哦。

由于网站分析工具是精确的,因此虽然不能准确反映数据,却能够准确反映趋势。这也是我们所有的网站分析师会认为趋势是最重要的方法论的原因。

原则二:细分。

因为网站分析工具的精确性,如果整体值比实际准确值偏小20%的话,那么构成整体的各部分也会同比比各自的准确值偏小20%。因此,比较所需要的细分仍然能够满足分析的需要。

原则三:转化。

与细分类似,精确性能够保证转化是同比放大或缩小,因此转化本身的比例是准确的。

如此看来,我们最后要得出的结论是:真正帮助我们进行网站分析的关键方法所需要的数据是准确的。因此,当我们理解并且学会运用网站分析的三原则之后,我们会把网站分析工具所在的象限转移到左上角的象限——即既准确且精确。真的,网站分析工具最终准确与否,在于你是否用好了它,这是唯心的结论,但确实是真正的真相。

祝大家好运。

[版权归作者Sidney Song(宋星)所有,欢迎转载,但请事先告知作者并注明出处]

原文地址:http://www.chinawebanalytics.cn/?p=1345

有什么看法和建议吗?非常欢迎大家留言。看到大家的留言是最快乐的,也是最终自我满足的回报。:)

(责任编辑:IT教学网)

更多