本节书摘来自异步社区《提高转化率！网页A/B测试与多变量测试实战指南》一书中的第1章，第1.4节，作者【英】Colin McFarland，更多章节内容可以访问云栖社区“异步社区”公众号查看

1.4 优化测试失败

优化测试失败，或者至少感觉如此，是优化测试中屡见不鲜的现象。现在我们来讨论一下为什么我们要坦然接受这些失败，甚至还要理解如果测试没有出现失败，可能是因为你的努力还不到位。

1.4.1 接受失败

无论你多么认定某处是个傻瓜操作，无论你进行过多少调查，无论多少家竞争者都做了相同的事，可是偏偏有时候，测试就是证明了挑战方案很失败，而且这种情况出现的频率可能比你想的还要高。

但是就算失败，它其实依旧是个非常了不起的结果，虽然这次你未能直接提升你的网站，但是你得到了机会更进一步了解自己的方案和顾客反应（图1.6）。如果你觉得某项功能或变更可能会让你的网站得到优化，而你的顾客却不认同（通过他们的行为表现而非直接交流），也就意味着你的方案设计和对顾客的理解还有提升余地。

图1.6 　Grockit.com对新功能进行例行测试并发现了这样的现象：许多新功能对顾客行为没有丝毫影响。现在他们接受了测试出的失败成果，并将测试当做了开发流程的一个环节以及一种重要的学习方法。

尽管你的挑战方案失败了，何不以积极的心态接受它，将其视为一种求知的过程。通过对照测试了解到顾客如何实际使用你的网站，你至少了解了需要前行的方向。

不要总是期望成功
想想测试和发掘这两项工作的往复性特征，出师必捷、无往不胜简直是不可能的事。但是偏偏许多企业会以此衡量成功，按照测试挑战成功的数量嘉奖优化测试人员。

这么做实际上是有风险的，如果太过注重成功成果的数量而非所获经验的多少，会让我们行事谨慎小心，不再活跃地尝试新的创意，将测试停留在仅仅测试已知内容的阶段。

所以我更鼓励另一种做法：不要寄望于一次就成功（也不现实）。相反，要很好地意识到测试的往复性，从你的第一个测试开始吸取经验（通常叫做第一轮），进而对你后续的测试（下一轮）进行相应调整，以此类推。

经过几次往复测试之后，你就可以收获到一些非常棒的成功方案了。不过，你也免不了会从经历的各种失败中吸取经验。

我们的直觉并不可靠：[大多]创意可能都没法如愿以偿地对预期优化的指标做出提升。

微软的测试经验显示，在测试结果中，三分之一成功有效，三分之一平平无奇，另外三分之一压根儿是失败的。

Google在2009年进行了12000次左右的测试，但其中只有10%真正带来了业务变化。

Ronny Kohavi，发布于exp-platform.com
了解放弃的时机
现在我们已经知道测试其实是一个学习与调整往复循环的过程，但是我们应该测试到什么程度，才能选择放弃去继续优化测试下一个新创意？当然这里没法一言以概，但是作为指导，我建议如果经过5轮测试仍然没有见到任何改善，不如先将当前的想法搁置，转而进行新的测试。

在5次测试的约束下，你会变得更加勇于尝试，更加专注于调整优化测试，更加竭尽全力从5次尝试中最大限度地积累经验。

测试的特性通常意味着创意数量总是超过测试能力。所以一定要记住，尽管积累经验的确是一项重要任务，但终有一日我们最后的目的还是要找到真正增加效益的成功测试结果，并将其付诸实践。

1.4.2 败而有因

正如大发明家托马斯·爱迪生的名言：“我从未失败，我只是发现了一万种不可行的方法。”经过合理设计的测试也不可能失败，即使你知道你的方案并非成功，但是你学到了知识，这种掌控感比一个创意更有价值。

在你的方案被证实失败后，确定这些失败败而有因是非常重要的。否则你观察到的可能不过是随机的噪音，而测试方案本身可能并没有真正产生任何影响。

从最差的角度考虑，如果你还无法完全确定测试方案是否比对照版本更糟糕，你可以先停止测试。否则，如果错误的结论导致你学习到错误的经验，对未来的测试会造成更恶劣的影响。

但是也不要畏惧！有一种叫做“可信度”的概念能够帮助你做出这种艰难的决策。我们将在第7章详细讨论。

▲ 勇于接受测试的失败并吸取教训。

▲ 不要寄希望于一次就成功，但是要知道何时放弃。

▲ 确保败而有因，避免优化测试失败后学习到错误的
经验。
[1]　译注：Steve Krug，网站可用性咨询专家，著有《点石成金：访客至上的网页设计秘笈》、《妙手回春：网站可用性测试及优化指南》。

[2]　译注：人因国际，Human Factors International，全球最大的可用性咨询公司，为客户提供具有高可用性的网站、 应用软件以及企业内网的创建和设计咨询服务。