17
APR
2017
西南偏南 SXSW 直击：Netflix 的 A/B Testing
by 痞客邦 UX
非常幸运地，今年有机会参加西南偏南 (South by Southwest, SXSW)——一个以音乐庆典、交互媒体及电影为主题，闻名世界的大型盛会。我参加的是交互媒体 (Interactive) 的活动，主题包含：设计、程序开发、智能未来、科技产业、品牌行销、政府、健康、风格及工作场所等九项，演讲 (sessions) 举办的时间大致从每天的 9:30 AM 到 6:00 PM，玲瑯满目、五花八门，举办地点还座落在整个市中心的几十个地方，简直要逼疯有选择困难的人。总之，我大致上都参加「设计」主题相关的演讲；而最令我印象深刻的，是「排队排到昏天黑地仍不得其门而入因为主讲人好心加场才听到」的 Design like a Scientist: A/B Testing UX at Netflix。
A/B Testing 是种了解用户行为的常见方法，我们团队的 Joyce 也在博客上分享过 A/B Testing 的三大心法，故本文将摘录 SXSW 活动中，Netflix 的 Navin Iyengar, Product Designer 在 A/B Testing UX 上的分享重点。
如同科学家般设计
为什么演讲标题说「如同科学家般设计」？首先，科学是什么？科学是种系统性、可靠的信息；之所以说系统性、可靠，是因为研究时经历过：假设、实验、结论等步骤，不断验证。而设计上常见的研究法，比方：调查法、深度访谈、观察数据趋势或 A/B Testing 等等，也多半可以用科学的研究步骤来进行。A/B Testing 就像是让用户通过行为来说话，用行为表示出他们对于这个产品／服务／设计喜欢与否。
A/B Testing 上，我们通常会有实验组与控制组（也称对照组）；控制组是原先的版本，实验组是你想尝试的改变，这个改变就是你的「假设」。有了假设，根据假设设计「实验」、收集数据；然后我们会开始解释这些数据，越合理越好。这些解释到最后会有个「结论」，决定这个假设是否为我们希望的结果。整个流程不断重复验证，就是一系列的实验，最终能导向更具说服力的设计。
Netflix 的 A/B Testing 四步骤
Navin Iyengar 分享 Netflix 做 A/B Testing 的四步骤，以下列出并分点说明：
- 在投入资源前先测试
- 数据是你的指南针
- 往极端设计
- 观察人们所为，而非他们所说
1. 在投入资源前先测试
Navin Iyengar 提到：「⋯⋯设计要能影响人，必须要先被运行、创建，然后推到全世界；所以不只是你说了算，还要测试、证明这些想法值得创建。当你有个想法，要去想说：内核是什么？然后你怎么测试？」
六年前的 Netflix 首页并不漂亮；后来在 2014 年设计了新首页并置换，但也只换了这页。数据上显示流量变高，用户的停留时间变长，于是团队就决定将全站的页面都更换。
反思：该如何测试你的想法？
2. 数据是你的指南针
有了内核想法，也就是你有假设后，要找出可以帮你判断出假设是对或错的数据。假设目标是「增加人们的满意度」，人们总共在 app 上花的时间、人们多常造访、他们采取多少行动……这些都是判断满意度增加与否的有效方法；但参考什么数据，决定了后续的设计方向是什么。
Netflix 推出新剧的页面，就根据用户的身份而关注不同数据，最后导向不同设计。会员不容易因为一个页面改变而取消订阅；所以会员看到的新剧页面充满了该剧信息，即使不想看也有其他视频可选。至于对非会员，获取 (acquisition) 数据就更重要，会希望他们免费体验，然后转成付费会员；所以非会员只会看到新剧，希望他们有兴趣就赶快注册。
反思：什么是你已掌握的数据？
3. 往极端设计
你有了假设，有了数据，要进行最有趣的部分了：设计变因！一旦要测试，把变因设计得越极端越好，因为这样可以帮助你探索所有可能的问题。Netflix 在 2014 开始设想：如果未来 Netflix 要更往串流走，人们在笔电上该看到什么？不过这概念还太抽象、高层次，于是他们划了个直角座标系来帮助思考。
X 轴上的两端是主动与被动，Y 轴上的两端是划一与区别。主动是指可以看到很多内容挤在一起，让用户拥有很多选择；被动则是指内容没有太多选择，直接推送用户可能喜欢的几项。划一是指画面上呈现的每个选项都在差不多的层级；区别是指有些选项更为显而易见、更为推荐，选项呈现不同层级。
总之，他们在这种极端探索的思考模式下，摸索出最终的设计方向，才进入 A/B Testing。
反思：哪些是你可做到的极端？
4. 观察人们所为，而非他们所说
Netflix 做的某次问卷中，某题问到：在 Netflix 上注册前，你最想要知道更多的一件事是什么？(What one thing would you like to know more about before signing up for Netflix?) 结果有 46% 的人选了「所有可看的电影与电视剧」 (All movies & TV shows available)。于是他们开始做 A/B Testing，原版为控制组，新版 prototype（有各种电影电视剧信息的）为实验组。
实验组输了整整五轮。
虽然大家说他们要的是内容，但其实太多内容使人分心；真正说服非会员去注册的不是满满的内容，而是免费试用时的体验。你可以在试用时体会到：上面内容有哪些、随时收看的感觉、在不同平台收看的感觉、体验串流有多快……等等。
反思：你观察到哪些行为？
Q & A
两则有意思的 Q & A 分享如下：
Q: 这么频繁地做测试，是否会影响到你们现有的会员？
A: 我们专注在测试新会员，因为他们比较不清楚这服务是在干嘛的，所以比较不会影响现有的会员。
Q: 要多久才知道这次的测试是否失败？（译注：失败指的是不符合原先的假设）
A: 我们的会员订阅是以月为单位，所以测试至少要等一个月再决定。
其实这场演讲我差点听不到。Netflix 的 A/B Testing 实作实在太有名，原先的早场我早到了 38 分钟排进队伍，都排到快进门了说客满下次请早；还好真的有下次。设计主题的演讲很常爆满，早点排队是上策，也要记得排一些备案，否则就会跟我一样各种向隅，排不进想参加的演讲整整三次。感谢所有把文章看到这里的朋友，为了感谢您看到这里，下次再分享一篇 SXSW 大杂烩感想作为感恩回馈，如果还有下次的话。（逃～）
作者：菲力普
推荐阅读：
