优秀的网站分析师必然同时也是优秀的控制实验学家。网站分析的目的不仅仅是产生一些包含KPI的报告，更重要的是通过对访问者行为数据的分析，找到影响网站效果的因素，并通过实验推进网站效果的改善。
从本质上来讲，网站分析属于行为科学一部分，属于在网络这个特殊介质中的行为科学。与其他行为科学类似，网站分析通过研究访问者在一定情境中的行为，进而找到影响访问者行为的环境因素及心理因素。
我对网站分析的工作流程是这样：根据网站的目标，部署相应的网站分析工具，收集需要的数据，根据收集的数据找到转化流程中的坏点，并根据这些坏点，给出改进方案，通过控制实验，评估改进方案的效果，如此循环往复。
下面简单介绍一下控制实验（简称实验）的相关概念及方法论。
心理学对实验的定义：实验是指有目的地控制一定的条件或创设一定的情境，以引起被试的某些心理活动（行为）进行研究的一种方法。
这里的控制的条件就是自变量，而引起的被试的行为则是指因变量。在网站分析中，自变量就是不同的页面版本，不同的Landing page，不同的广告创意等等，而因变量就是我们的转化目标，可以是转化率，也可以是交互度等等。
除了因变量与自变量之外，还有这样一类变量，它们不是我们研究的对象，但是，它们却可能对因变量的变化产生影响，这类变量在实验过程中我们需要进行控制，以便保证因变量的变化确实是由于自变量的变化所引起，这类变量称为控制变量。在网站分析中，这类变量很多见。比如，有一些“A/B Test”的方式是，在前一个时间段采用A版本的页面，在后一个时间段采用B版本的页面，经过两个时间的对比，证明B版本的页面的转化率要高于A版本的页面。对于这个实验（准确的来说，这不是一个实验），由于没有控制时间这个控制变量，后一个时间段的转化率比前一个时间段的转化率，不能简单的归因于B页面比A页面效果更好，两个时间段访问者群体特征的差异，市场竞争环境的变化，线下的品牌营销活动等等都可能使两个时间段的转化率之间存在差异。
随机化是控制控制变量简单而有效的方法，对于互联网这个媒介，我们可以用一些简单的方法对访问者进行随机分配，从而比较不同页面或创意等的效果。SEM投放过程中的广告轮显就是随机化的典型例子，另外，Google Website Optimizer也是采用随机化的方式将访问者平均分配到不同的实验条件，来比较不同的实验版本的效果。
对于实验假设通常是无法证实只能证伪，Avinash曾经说过网络的一个优势是我们可以更快的失败。对于网络来说，进行随机化和数据处理是非常方便的，对于线下实验我们可能需要进行精心的实验设计，细致的挑选被试，花费一定的资金和时间来寻找被试，还需要花费精力进行实验完成后的数据录入和分析，其中的任意一个环节出现差错都有可能造成实验的失败，选择了本身有偏的样本，数据录入清理上的失误等等。而对于在网络上进行的实验，则要方便许多，海量的访问者保证了样本量的充足，网络技术的发展和网络环境本身，保证了随机化和控制条件相对容易，应用GWO这样的工具本身也可以自动帮我们完成假设检验的过程。
接下来简单聊一下GWO的工作原理（这里主要以A/B Test为例，多变量测试略有不同，但其原理是一致的）。
GWO的是一个完善的网络实验工具。实施之后，它主要帮你做下面几件事：
1、 被试选取和随机分配
2、 记录实验组和控制组的实验结果
3、 给出实验结果的解释
GWO通过三段脚本来完成前两项工作：
1、控制脚本，放置在控制页面（即原来的页面，或者说A页面）上，用来给访问者分为控制组和实验组、打上标签并将实验组跳转到实验页面（替代页面或者说B页面）上，为保证实验公平性，每个访问者在其实验周期中只能看到一种实验条件，并且在其实验周期中发生的转化只会被记录一次，因为，本质上来说，A/B Test是一个被试间实验（即用同一总体中的两个相等的样本，在不同的条件进行的实验；与被试内实验相对，被试内实验是使用同一种被试来比较不同实验条件下行为。），其基本的假设是，一个访问者，发生了转化后，再次发生转化的可能性会加大，因此，在访问者的生命周期中无论发生几次转化都只记录一次，以免由于两个组之间由于这类回访者的数量不同而使实验结果有偏。另外，如果一个访问者在实验周期内，能看到不同的实验条件的话，那么对于转化的归属会比较困难，因此，一个访问者在一个实验周期中仅能看到一种实验条件。
2、跟踪脚本，放着在控制页面及实验页面上，用来对实验条件计数。
3、转化脚本，放着在转化页面上，用来对转化进行计数。
其实，GWO的跟踪脚本和转化就是GA代码，或者我们这样来理解， GWO与GA的关系，GWO就是加了一段控制脚本的一个单独的GA账户，通过观察不同的实验条件页面到转化页面的转化率（这里是将不同实验的条件作为必要步骤，并且转化是可以跨访问发生的，计数条件也是Unique Visitor）来比较不同实验条件的效果。
最后，我们再来看一下实验的流程。
访问者来到我们的控制页面A页面，GWO控制脚本的首先判断，访问者是否存在实验cookie，如果存在则让访问者仍然看到之前的实验条件，如果不存在则随机判断访问者该归属于哪个实验条件并写入cookie，对于属于控制组的访问者，不做进行跳转，控制页面上的跟踪代码计数，如果属于实验组的访问者，则跳转到对应的实验页面（A/B Test可以比较多个实验条件，只不过是单变量），实验页面的跟踪代码计数。
如果某个访问者到达了转化页面，同样首先需要判断其之前是否看到过某个实验条件（通过cookie），如果看过某个实验条件（控制页面或者某个实验页面），之前未发生转化，则该实验条件的转化数加一，否则将忽略该次转化。
让我以GWO团队的一句话结束：不要停止测试直到转化率100%。
