转载：http://www.chinawebanalytics.cn/kpi_optimization_part3/
【每期一句】
没有对创新的有效保护，就没有创新。我们没有乔布斯，没有扎克伯格，不是国民素质，而是制度使然。
【前言】
在这个系列的前面两回文章中（上篇点此，中篇点此），我们谈到了如何优化电子商务关键绩效数字的两个方面：识别关键驱动因素、着手分析和尝试提升关键驱动因素。在这个部分中，我们将向大家展示，如何通过一些特定的方法，让我们提升关键驱动因素的努力能够最终落地获得成效。
【正文】
还记得我们前文谈到的优化路径吗？在这个路径中，我们强调从定义KBR开始，然后分解影响KBR绩效的驱动因素，然后再确定这些驱动因素中哪些是基础驱动因素，哪些是非基础驱动因素，再尝试分析基础驱动因素并着手改进，同样，尝试分析非基础驱动因素并着手改进，这之后测试你的这些改进是否有效并固定有效的改进（优化）。由于优化不可能是针对所有人群和兴趣的，所以最后你要在优化的基础上进行动态处理（定制化）。
图1
今天我们来看看测试和定制化，以及它们二者是如何让我们优化的努力最终落地的。
分析不是全部
网站分析（Web Analytics）也好，数字营销分析（Digital Marketing Analytics）也罢，都在无意中为我们强调“分析”的重要性。
分析当然重要，尤其在我们所处的这个国家和如此复杂真假难辨的乱象之中，没有认真独立尊重事实的分析，我们就无从发现各种马脚得知诸多真相，就会更被某种我们不得不敬畏崇拜的力量忽悠的团团转。但对于我们想要优化的网站商业目的而言，分析却完全不是全部。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
我曾经说过（http://www.chinawebanalytics.cn/10rules-for-using-wa-tools-1/，原则五），大多数情况下，网站分析工具能够告诉你发生了什么样的情况（what），但不能直接帮你回答发生这些情况的原因（why）。为了尽可能找到原因，我们于是用一个最基本的方法——细分，试图通过抽丝剥茧的方法还原真相。但很多情况下，我们很难确信地断言就是这样造成的，我们只是说，可能是这个原因。下面这个例子说明了这种情况：
我想要知道为什么
很多年来我一直试图了解很多奇怪现象的发生原因，但有些解决了，有些却不能如愿，我只能怀疑是由于某种可能的原因，但却完全不敢确切。
在2010年6月的某个闷热的夏天，我被一个问题困扰，这个问题是关于什么样的网站元素能够更有效的促进订单。这个网站是一个旅行类的网站，为用户提供在线酒店预定业务。这个网站有如下几种类型的页面，我的第一步工作是找到哪个页面对转化率的影响最大。
图2
这难不倒我，对于做好了Google Analytics电子商务监测以及设置了漂亮的Goals和Steps的网站而言，一个工具就能解决问题——GA的$Index，这个度量（metric）用来衡量每个页面对转化的贡献。由于每个转化都意味着赚到了一定数量的钱，因此假如一个visit产生了一个10美元的转化，而这个visit一共浏览了10个页面才产生了这个转化，那么每个页面就平均为这个转化贡献了1美元，即对这个visit而言，页面的$Index=1美元。因此，如果某个页面的$Index很高，那么这个页面就是对转化至关重要的页面。
图3
其实不用这个工具常识也能告诉我们，booking page对于转化的影响当时是毫无疑问的厉害。于是我们把主要的精力集中在booking page。
确定了某个页面对转化的影响要比其他页面更大，我们朝解决问题迈近了一步，下一步我们要做的事情是进一步发现在这个页面中哪些元素是最可能影响转化的。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
我们的方法是制作booking page的点击热图，点击热图并不是完美的工具（在我chinawebanalytics.cn最近的《挑战网站分析中的大众智慧》系列文章中将会为大家分享点击热图的一些可爱和缺陷的地方），但可以给我们至少一个解答，那就是在这个页面中哪些区域激发了用户继续探究的兴趣。
图4
在这个点击热图报告中（左右两张图实际上是页面的上下两部分，因为原页面太长，所以我们把它切割为两张图），我们看到了一些明显的兴趣点——“展开报价”、“图片”、“邻近酒店”还有“隐藏报价”获得了比较多的点击量。有一点令人吃惊的是，“评论”并没有获得意想中的高关注。
“评论”关注度不高的问题显然让我们疑惑，网站分析工具很好的告诉了我们“what”，但在这里无法明确地告诉我们“why”。我们可以猜测“评论”关注度不高的原因是因为它没有获得理想的位置，但现在只能是猜测，只能。（在《挑战网站分析中的大众智慧》系列文章中，我们会向大家展示，用什么样的工具和方法能够进一步验证这种猜测）
这一类困惑在我们进行网站分析的过程中常常发生。很多时候我们不禁要感叹，知道的更多或许不是好事，我们不得不承受更多的未知。
这个案例并没有到此结束，因为我们需要解决什么元素对转化率有最重大的影响这个问题。于是我们接着探究，看看这些获得最高点击和我们认为它们原本重要的元素对转化的影响有多大。我们根据转化的数据，做出了下面的这个表格：
图5
每一列都是某一个元素的点击量以及在这些点击之后发生的订单转化的对应数量。从上表中可以看到，如果用户发生了查看评论或是查看图片的行为，那么发生转化的几率要大于点击其他元素的用户。尤其是“查看评论”，它虽然没有获得很好的点击量，但却有最高的转化发生倾向。
数据做到这里，我们可以确定一些事情，但我们也多了一些疑问。为什么评论对转化的促进在这个案例中看起来最显著？什么样的评论都促进转化，还是只有部分更促进转化呢？为什么隐藏报价对转化率的促进要比展开价格对转化率的促进还要大？这些疑问，尤其是与评论内容相关的，我相信你网站分析工具无法直接给你解答。
但没有解答并不意味着我们无法实现优化，下面的内容将会帮助大家用其他方法解决这个问题。
在上面的这个例子中，我们能够通过网站分析工具知道有一些网站元素对转化有更为重大的意义，但我们还无法知道应该如何修改这些元素以进一步促进转化的提升。分析告诉了我们该要努力的方向，但没有给出我们应该做出何种努力的答案。
答案从何而来？
现在，你和我一样，都想问一个问题，我们应该如何获得答案呢？
我们需要依赖两件事情，其一，是这个宇宙赋予我们的伟大财富——我们的经验和直觉；其二，是这些经验和直觉经过验证之后形成的事实。
在上面的例子中，我们知道“查看评论”对转化率有很大的相关性，我们也知道“查看评论”并没有获得很大的关注，因此我们凭着我们的经验和直觉，对这个问题提出我们认为可能会奏效的解决方案：
1. 我们需要把“查看评论”按钮，乃至评论本身放在页面中更显著的位置上，甚至给予更加明确的引导，以获得用户更大的关注；
2. 我们认为“查看评论”之所以能够与转化率极为相关，是因为正面评论的作用，我们需要引导用户发出更多积极正面的评论，以打消其他用户的顾虑。
这两个解决方案会奏效吗？有经验的从业者会说，没问题，但是否真的靠谱，我们谁也不能在做出这些改变前就做出100%有效的承诺，不仅我们不能，所有的星座分析家也都不能。
如果你是分析优化师，最好的“保护”自己和公司的方法是告诉自己的老板——我相信这些措施对于进一步改善我们的转化率具有积极作用，但是保险起见，我们需要做一些测试以确保它们真的奏效，并且这些测试能够告诉我们更多关于用户习惯和想法的关键信息。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
如果你这么说，那真的好极了。分析师最大的特点是不会轻易对任何事情下断语，他们看起来似乎有些优柔寡断——你的朋友现在这么评价你了吗？恭喜你，你已经是一个合格的分析师了。
测试
毫无疑问，测试是上帝给我们的最棒的武器。测试不代表着某种正式的东西，如果我们失败了，我们大可以说，这是一次测试而已。于是我们有更大的*度和更放松的心态——这对找到真正有价值的东西是大有裨益的。
测试的另外一个重要意义在于，没有任何一个人能代表所有的用户，老板的意见、运营部门的经验以及你自己的直觉都不是用户的感受。难道你没有生过闷气吗？——你的老板的意见让你冥思苦想两个月的方案在一分钟之内就付之东流，因为你的老板相信自己最能代表用户的感觉，但你明白也许不是这样，但你没有办法说服，甚至连施加一点点正面影响的可能性都没有。这个时候，或许我们需要做一些测试，让真正的用户来参与，来投票，来证明到底谁最接近正确。
没有测试就没有最后的胜利，或是通过暂时的挫折引导我们走向胜利，不管怎么样，测试才能给我们一些真正落地的结论，否则我们的分析可能只能在天空中飘着，我们的工作也大抵只能在空中飘着或者只是出几个数据做几张报表。
测试的种类有很多，例如下面这个图中所展示的。事实上很多用户可用性实验本身就是测试的一种。
图6
AB测试是最重要也最常用的工具。遗憾的是，我的博客中竟然还没有一篇专门描述AB测试的文章，以至于我无从引用。这篇文章本不太想讲述非常基础的内容，但对于AB测试，我还是想说这是网站分析乃至所有分析最为重要的基本功课之一，因此我在下面的引用部分中会介绍AB测试，如果已经很了解的朋友可以直接跳过。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
AB测试
没有比较没有真相。
在我们的邻国，那里的统治不允许人们获得任何外来的信息，乃至于当这个国家派出一些IT人员到我们这里工作的时候，整个世界都在惊呼——他们不怕这些人脑子被“污染”？这个国家不允许外部信息，是因为不希望老百姓做出比较。
但网站分析却必须比较，我们无时无刻不在比较。做细分是为了比较，我曾经总挂在嘴边的“没有细分没有真相”，其实就是说的没有比较就没有真相。
AB测试帮助我们实现比较。AB测试好用的原因在于，它提供了一个公平的比较的环境——我们不会把一个大象和一个河马相比，我们比较大象和大象。
对比最害怕的几个问题AB测试都帮我们避免了。其一，进行对比时会受到很多外部环境的影响，例如时间。你可以在不同的时间比较同一个事物，例如一个网站在6月1日上线了新的首页，你可以比较整个5月和整个6月首页的表现，但问题是，5月和6月有很多不同，例如6月可能会做促销，或者5月的流量来源主要是搜索引擎流量而6月主要是直接流量。其二，比较本身也可能受到样本的影响，尤其是在进行用户可用性测试的时候，我们不大可能随机选取一万个人进行可用性测试，因此我们只能认为某几个我们选取的样本能够代表大多数，但事实上任何个体都不无法真正代表大多数。
网站分析所应用的AB测试能够解决这两个主要问题的原因在于它能够实现对同时发生的随机的总体（而不是样本，除非你要限定样本）的比较。这句话有点拗口，简单说来，就是AB测试能够在同一个时间、基于所有的用户，对两个或者多个不同的比较对象进行对比。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
举一个网站分析常见的例子——我们现在觉得首页不那么好了，于是我们让设计部门设计了一个新的首页。新的首页看起来很不错，但我们不知道我们目前网站的用户是否喜欢它。于是我们做AB测试——我们把原来的首页（A页面）和新设计的首页（B页面）同时上线，我们的用户还是输入以前网站的域名，所有的流量渠道也仍然都指向以前的首页（A页面）。但奇妙的是，尽管所有的流量都是进入的A页面，但一部分的用户（一般都是一半的用户）看到的并不是A页面，而是B页面，并且他们将一直看到B页面，而另外一部分用户则还是一直看到A页面，直到测试结束。这部分看到B页面的用户使我们专门选出来的吗？完全不是，他们是完全随机被分配到B页面的。
图7
因此，AB测试做同一页面的不同版本分析真是太好了——它不受时间的影响，因为测试是同时发生的，它也不受样本的影响，因为所有的用户都可以参与测试，而且用户的分配也是完全随机的。
这里顺便描述两个概念，值得被记住——分配到原始的A页面的用户叫做对照组（control group），分配到B页面的用户叫做曝光组（exposure group）。
AB测试并不是只用于测试两个对象，其实可以测试两个或两个以上的对象，在测试多于两个对象的情况下，对照组就相应增加而已，每个对象分配到的用户比例就相应减少了。
AB测试的原理就是这么简单，但还有一些其他的注意事项和使用方法，在今天的文章中就不多谈了，我们在未来的文章中做相应的专门的介绍。
AB测试确实能够帮助我们解决一些悬而难决的问题。在前面的那个酒店网站的例子中，我们可以通过AB测试决定什么样的图片或者评论更能够增加转化。
产品经理告诉我，他的经验是带有干净浴室的图片更能引起人们对于整个酒店好的感觉（事实上这个经验可以通过网站分析的方法进行验证，即查看那些洗浴间的照片是否会被更多的查看，但由于照片排放位置因素的影响，这个验证稍微有些麻烦），于是我们把一个酒店的图片分为三类，一类没有洗浴间的照片（A），另外一类带有普通洗浴间的照片，并未做特别的优化（B），最后一类是选择性优化拍摄和处理的洗浴间的照片（C）。在此基础上，我们为这个酒店的booking page做了专门的三个版本，除了照片不同，其他完全一样。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
在测试之前，我们下了一点小小的赌注，对于C，大家一致认为会有更好的转化率，对于A和B，则意见不同。我选择了B可能比A稍好。
最后的结果是A要比B的转化率稍好，但差异并不特别大，或者说并没有特别的统计学意义，但C的转化率确实要更好一些，高出A和B大概10个百分点。我们认为这是一个了不起的结论，我们发现好的浴室照片对转化可能很有价值。这里我用了“可能”这个词，原因在于仅凭一家酒店的AB测试结果仍然不能代表整体情况，我们需要尽可能多做一些类似酒店的AB测试，以获得普遍性的结论。——这样看来，AB测试其实也不是那么简单，复杂不在原理，而在于需要细致和耐心的执行。
测试总能有收获，总能
曾经有一位朋友告诉我，他做了不少AB测试，结果发现AB测试并不总能解决他的问题。
他的理由是，往往他能够凭借直接判断出来的结果，AB测试的结果跟他的直觉一致。如果他的直觉看不出来各个版本的好坏，AB测试的结果也非常接近，以至没有什么统计学意义。AB测试真的有作用吗？
我十分钦佩这位朋友的直觉，但我认为这么理解AB测试是狭隘的，或者应该这么说，我们不能只做测试不做分析。
AB测试往往包含两层含义？第一层含义是比较不同测试对象的转化率（或是点击率），这被称为“宏观对比分析”，在图7所展示的例子中，version a页面和version b页面被随机分配了数量相等的用户，但version a只有50个注册（singups），而version b有75个注册，因此我们认为b页面的转化是好于a页面的。但我们肯定不会仅仅局限于这么简单的比较，也不会就立即简单拿下a页面，更换为b页面。我们还会继续研究两个版本页面上用户具体行为的差异以推测到底是什么原因造成了version b的注册转化更好，并很有可能能够集中两个页面各自的长处而设计出另一个新的页面version c，并再做一次ab测试。这叫“微观对比分析”。这就好比我们在医学中的小白鼠实验，两组小白鼠是一样的，且被人工弄上了同一种疾病。我们对B组喂一种新研发的药品，A组只喂安慰剂（如果老鼠世界也明白安慰剂的话），我们发现B组小老鼠病好的更快。宏观对比分析的结论是药品可能有效，微观对比分析则让我们继续探究什么生化原因让B组的老鼠好的更快，以及它们的体内是否有其他的一些变化。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
所以我认为，实施恰当的AB测试总是能够给我们带来收获，哪怕在一次测试中没有哪个版本能真正胜出，我们也可以发现其他的用户行为区别，并依据这些区别分析用户习惯，从而仍然能够为创造一种更好的版本提供可能。这是极有意义的。
下面这个案例说明了这种情况。这个案例的测试围绕一个电子商务网站的首页AB两个版本进行。网站希望新的版本（这个版本被认为看起来更为大气）不会比原来的那个版本在bounce rate等关键指标上更差，以确保在取代旧的版本的时候不致影响绩效。测试本身的目的并不让我特别感兴趣，说实话这样的目的真是有些味同嚼蜡，但却是一个很好的能够研究微观对比分析的好战场。
我们先看看宏观对比分析的结论：
图8
从数据结果上看，即使是差异较大的购物车添加率和转化率，实际上也并没有显著的差异。在某些指标上，旧版本甚至要更好一些，例如bounce rate和exit rate，而在电子商务转化率上，新版又要比旧版更好一些。这些数据并没有反映二者的差异，或者说宏观对比分析并没有给我们什么很给力的结论。
但微观对比则不同，相同平静的海面之下，是不同的风景。微观对比我们常用点击热图的方法，查看两个页面之间的用户行为差异。
图9
图10
两个页面点击图的对比给我们很多信息，我们可以看到B版（新版）的首屏点击比例比A版（原版）更高，这说明新版在首屏的发挥上更见优势。新版的导航也获得了更多的点击比例，似乎源于B版分类调整的进一步合理性（这里我们只能猜测是这样，如果想要知道真正的原因，我们可以再专门为导航分类做一次AB测试）。新版值得注意的另一个特点是，在顶部大导航条上，“新品”获得了24%异乎寻常高的点击比例，而在旧版上，我们也注意到，底部“全球新品”栏目的“更多”也获得了7.3%的点击比例，显示了用户对于新品的浓厚兴趣。
本文版权归“网站分析在中国CWA”及其作者宋星，欲转载，请联系作者
不过，旧版中获得高达8.9%的“秒杀”，在新版中则被“清仓”取而代之，相同位置，却只获得了0.2%的关注，令人诧异。显然秒杀带给人们欢乐，而清仓让人感觉廉价和低质。
在这个例子中，宏观分析不能给我们太多有用的信息，微观分析却给了我们太多有意义的故事。如果让我设计一个更好的C版，或许我会在B版的基础上，调整“清仓”，取而代之以“秒杀”。以及，在焦点图中强调“新品”。很简单的一个小例子，告诉我们其实AB测试远比直接看起来的更有意思，也更有内涵。
基础驱动因素的测试优化与非基础驱动因素的测试优化
在这个系列文章的前两篇中，我们提到了基础驱动因素和非基础驱动因素，如下图所示：
图11
由于驱动因素被分为了两类，因此对于驱动因素优化方案的测试工作也分为两类，即基础驱动因素的测试优化与非基础驱动因素的测试优化。当然，这两类在方法上并无不同。
前面所提到的两个例子，一个是图2所展示的酒店照片和评论影响转化的例子，另一个是图9图10展示的首页优化的例子，前者可以归为典型的非基础驱动因素的测试优化，因为前者即产品页面，这些测试能够对某一个或一些产品（这里是酒店产品）的优化起到作用，但并不完全是全局性的优化。而后者，即首页优化，则属于影响全局的基础驱动因素的测试和优化——例如其中所包含的对于导航和目录的修正，以及作为转化路径中非常重要的“桥页”，首页所起到的关键性的影响。
而对于非基础驱动因素的测试和优化而言，活动/匹配是极为重要的内容。例如下面这个例子中所显示的，同一个活动，完全一样的活动landing page，除了在landing page中部分商品被更明确的标识了这个商品具有诱人的“超值价”。
图12
这个测试显示了非基础驱动因素的优化对于短期营销活动效果的重大影响。部分商品被标以“超值价”之后，经过B页面的流量的转化率发生了明显的增长，产生的销售也超过两倍的提升。
我的经验是，基础驱动因素的AB测试或许并不容易（因为我们并不可能总是不断优化基础驱动因素，我们是渐进的），对于这些因素的分析和优化取决于公司领导的眼光和对“重要但不紧急”事情的真正重视，我们常常碰不到这种重视，所以基础驱动因素的测试和优化总显得可遇而不可求。但我想说，真正能够在基础驱动因素上付出努力的组织，才更有可能超过同侪，取得真正的竞争优势。
相对而言，非基础驱动因素的AB测试则给我们很大的舞台——因为非基础驱动因素优化的需求总是不断重现，而且总是能够获得更多的重视（虽然这种重视总是伴随着对短期利益追逐的短视），因此我们反而能够不断有机会去尝试和验证，并更容易获得成效和赞许的眼光。如图12的这个案例。
无论你是否有幸运能够在进行非基础驱动因素的优化之外找到时间和机会进行基础驱动因素的优化，前面的这三个例子也都说明了，无论是基础驱动因素还是非基础驱动因素，在你完成分析和方案之后，只有通过测试才可能终给我们真正得以证实和落地的优化。
定制化
AB测试告诉我们很多内容，同时也告诉我们，如果有多个版本，我们总能发现有些版本对大部分人更适合，但对于少部分人，似乎他们喜欢另一些版本。
我曾经讲过，互联网最大的优势是可以实现定制化。我们不需要忽略少部分的喜好，或者，我们可以利用很棒的方法把少部分人也吸引过来，甚至与提升大部分人的转化率一样，我们也可以猛烈地提升小部分人的转化率，以最终实现“共同富裕”。
这并不是那么难实现的一个理想，至少相比我们的现实世界，要容易的多。
定制化这部分内容，我不打算在这个帖子中继续讲述。而是准备开一个专门文章细细道来。有朋友说，宋老师，您的文章太长了，我们看的费劲。我想，我也需要照顾大部分读者的喜好，而不是只顾自己写的快乐。敬请期待。
本系列总结
这个系列终于结束了，这个系列文章，从上篇到本篇，相隔竟然半年之久，今天终于让我能够喘一口气。我一直认为，网站分析也好，数字营销分析也好，分析虽然非常重要，但整个闭环中确实不能少了目标的树立，以及最后让分析能够落地的测试。而让我们的效果进一步插上翅膀，则还可以针对用户的不同需求，进一步为他们提供定制化的网站内容展示或功能服务。
从大处说，无论何种分析手段，无论什么样的商业优化命题，若沿袭这个分析优化路径，就能事半功倍，也能真正让优化成为可能。而在这个过程中所体验到的乐趣，也一定让这过程中思考和困扰的痛苦大为减弱甚至消除。
遗憾的是，到今天，我也仍然发现，很多很多的企业，很多很多我的客户，他们可能还是聚焦于分析本身，却忽略了其他同样重要的部分，以致于让原本可以提升绩效的可能半途而废。另外一方面，在这个过程中，执行力也极为重要，我也看到很多的例子，虽然有心，却无（执行）力，最后也雷声大雨点小，虎头蛇尾，空留遗憾。
方法只是方法，没有尝试，没有发展，没有创新，其实方法什么也不是。这一句话，若把两个主语换成“分析”二字，其实也是恰当的。