本节书摘来自异步社区《提高转化率!网页A/B测试与多变量测试实战指南》一书中的第2章,第2.2节,作者【英】Colin McFarland,更多章节内容可以访问云栖社区“异步社区”公众号查看
2.2 掌控优化测试
在进行测试的过程中,对测试的掌控力非常关键。让我们看一下有哪些方法能够保证你的测试处于掌控之中。
2.2.1 掌控测试的重要性
优化测试对于网站设计的传统方法而言是一种文化变革,因此在你试图推行测试概念时也难免遇到很多阻力。如果在交流的时候能够表现出测试是在掌控之中的,这会有助于减少你所面对的阻碍,也能够让大家更愿意参与进来。
将测试置于掌控范围内还能够确保你不会在测试方面产生过多损失,一旦出现测试状况不佳的情况,你能够迅速发现并将其中止。此外,它能够保障你最终看到的结果真实可信赖。
2.2.2 测试存在成本耗损
毋庸置疑有时测试存在成本耗损。这点一定要对高管人员事先说明。无论你对设计、顾客、业务多么了如指掌,测试总会涉及到成本,甚至有时测试结果并不能真正带来有价值的提升。不过,任何损耗都是可控的,而且这些损耗出现不久你就应该能够有所察觉并且及时
中止。
测试好似淘金,你没法第一时刻甚至每时每刻都找到金子,但是当你一旦有所收获,你获得的回报完全足够弥补多次的损失。
如果你的公司无法承担测试成本,建议也不要开展测试。不过,如果没有“舍”,也必然没有“得”。损失只是暂时的,当你通过测试结果找到优胜方案,你获得的收益将影响长久。
2.2.3 如何掌控测试
以下会介绍一些你对测试进行控制时所需的方法,以及如何在测试表现不佳、开始出现成本耗损时做出快速响应。
时刻关注测试效果
启动测试前一项最基本的要求,就是你能够保持关注及理解测试时时刻刻的表现。许多服务工具[1]通过精要报告板(Dashboard)预生成了测试的数据报告(图2.1),但是如果你不经常查看,精要报告板也就失去了价值。我们最好对测试的发展情况时刻关注,不要将它弃置一旁放任自流,而是要保持观察。
“一键终止”
要注意,对测试效果保持关注的目的是在测试向不良方向发展时能够及时遏止,如果无法做到这一点,时刻盯着测试效果也没有实际用处。一旦出现问题,及时发现快速解决,不要等到像网站发布之类的例行维护时再中止测试。
尽一切可能用最简单、最快速的方法撤销当前的测试,如果你不在场,也要同他人及时交流如何处理。大多数服务工具都提供了中止功能,但如果你使用的工具无法实现,可以将工具的代码用
注意对照环境
如果你的测试是并行的,要确保不同测试的变量不会互相影响。举例来说,假设你正在同时进行两种测试,一种是白底黑字的样式,另一种是黑底白字的样式,处理有误可能会令访客看到白底白字的情景。这样就造成了一些干扰性的负面效果,测试结果也会产生
误导。
对照环境:用于对比测试推论结果的参照标准。
——牛津词典
与此类似,如果你的测试是延续性的,那就要保证你使用的对照环境是处于前面优胜方案实施状态下的。试想一下,你在网站的商品页面上得到了一个测试优胜方案,在等待IT部门将其付诸实现这一期间,你又在相同页面上发现了另一个不太相关的优胜方案。你不确定如果没有第一个方案的影响是否还会出现第二个方案的成功,因为第一个方案影响之巨大很可能恰好为第二个方案创造了成功环境。如此一来,保持一个贯穿测试始终的对照环境能够加强测试的可信度,见证测试是否真正产生有益影响。
在可能的情况下,要留意任何可能影响对照环境的外部因素,在可测的情况下尽可能明确它会对测试产生的一切影响。
▲ 测试存在成本耗损,要明确告知高管人员。
▲ 时刻关注测试效果。
▲ 确保能够简单迅捷地中止测试。
▲ 了解并行性测试与延续性测试的实施法则。
▲ 注意网站测试的对照环境。