13
MAR
2017
你不能不知道的 A/B Testing 三大心法
by 痞客邦 UX
在从事用户经验研究时，经常会通过质化与量化测试来查看用户真实使用产品的行为、认知及感受；而 A/B Testing 是常用于网络服务的量化测试，通过小范围的测试，依照真实用户的行为数据，来作为优化服务的依据。面对 A/B Testing，以下将从过去的一些实务经验，整理出 A/B Testing 三大心法，分别为：清楚设置测试内容、让数据自己说话和持续倾听用户的声音，提供大家日后修炼之用。
心法 1：清楚设置测试内容
愈能清楚界定测试，愈能在测试结束后对症下药。清楚的设置测试内容包括需要预先设置测试目的、研究问题、测试组别、测试对象、测试素材（刺激物）、测试项目，举例来说：
- 测试目的：为了找到页面上最吸引用户点击的按钮样式
- 研究问题：按钮颜色会影响用户对于按钮的点击次数吗？
- 测试组别：实验组（有改变的版本）和对照组（原本的版本）
- 测试对象：平常会来光顾本网站的用户
- 测试素材（刺激物）：A 组白色按钮，B 组蓝色按钮
- 测试项目：按钮的点击数
这里是枚举基本的测试设计，实际的状况应该要视需求而增减，其实测试有很多种类（有兴趣了解更多测试类型，请点：The Anatomy Of An A/B Test），最简单的方式是改变单一元素，分成实验组和对照组，用来比较改变的单一元素是否影响用户的行为。改变的元素可能是接口元素的颜色、大小、位置、边框粗细的改变等等，改变愈简单，愈能知道改变的元素是否影响用户，而不是其他复杂的因素影响用户，以下面的例子来解释：
测试设计范例 1：A 和 B 版本的测试变因只有一个：「按钮颜色改变」，测试结果可以清楚得知数据差异是因为按钮颜色的不同所导致。
测试设计范例 2：A 和 B 版本的测试变因有多个，包括：按钮位置、按钮大小、按钮颜色的改变，测试结果较难分辨用户行为的改变是因为「按钮位置」、「按钮大小」、「按钮颜色」所造成的。
心法 2：让数据自己说话
如何从 A/B Testing 结果中解读并找出有意义的数据，这个问题要分为两个部分思考，第一个部分是测试结果是否回答研究问题，第二个部分是呈现数据的方式是否够清楚。测试报告需要能通过简单清楚的文本或是图表呈现想要表达的重点（愈简单愈好！），以方便其他利益关系人理解现有服务的问题，并且共同思考问题的解决方式。以下提供简单的数据图表及文本叙述范例（这里的范例只是提供参考，必要的图表细节还是需要依需求在图表中说明清楚 ）：
心法 3：持续倾听用户的声音
运行 A/B Testing 时，需要对于用户有所了解（当然还有对于测试产品和产业有足够的认知），面对测试数据时，才能更加有效解读，并且将数据有效应用。常发生这样的状况：看到测试数据时，B 组数字比较高，但是不清楚为什么会有这样的结果。可能很大的原因是对于用户不够认识，应该要立刻反问自己是什么样的原因会让用户有这样的行为？此外，也需要了解过去相关的测试记录、请教公司同事，还有询问真实用户的实际使用状况等等，找出我们不清楚的地方，协助了解用户在想些什么。
结语
最初接触 A/B Testing 寻找用户的行为足迹时，就像是听到一种新的语言：在测试过程中不断查看用户的测试数据，尽量同理用户与其所处环境，最后尝试解读用户的行为语言，并且将结果传达给产品相关开发者，以上种种过程，都需要掌握「清楚设置测试内容」、「让数据自己说话」和「持续倾听用户的声音」的概念。其实在整个用户经验研究中，同样也要留意上述概念，这些乍看之下都是一些用户经验研究者的日常工作内容，但是若持续轻忽其中任一部分，造成数据解读错误、产品设计的方向偏离，最后导致用户离你而去，到时候可是会代志大条的！
作者：Joyce
推荐阅读：
