**A/B测试**
一方面，我认为这是一个非常强大的工具，可以帮助设计人员消除观点之争，检验假设，并迅速将最有效的解决方案交付客户。但是，我们也冒着从公式中删除人为判断，将公司KPI置于客户需求之上，并朝着局部最大值进行迭代的风险。
01
「A / B测试的好处」
A / B测试的好处非常明显。您要进行几个简单的设计或产品改进，但不能百分百确定会产生最佳效果。您的团队中的一个人对一个方向的感觉非常强烈，您的利益相关者中的一个对另一个方向的感觉强烈，而其余的人则不确定这两个方向。
在这些僵局中，政治总是在起作用。谁在组织中拥有最大的影响力，谁在争论他们的案件方面最擅长，您会支持谁？如果所讨论的人特别擅长争论自己的案子，他们是否可以同样有说服力地提出反对意见？在那种情况下，真的有一个清晰明显的解决方案吗？
在这些情况下，可能会发生两件事。要么一个人走了自己的路，要么让另一个人因未听到他们的意见而感到沮丧，或者更糟的是，没有做出任何决定，而这场对话将使自己反复无聊。我敢肯定我们都经历过这样的事情。
这种决定的一个很好的例子是评分小部件。想象一下，您在一个产品团队中，试图确定卫星系统还是数字系统会更好。如果您选择恒星系统，应该使用四颗，五颗或六颗星星，并且只允许显示一部分星星吗？如果选择数字系统，应该是5、10或100点的等级，并且可以接受小数吗？
您可以做一些案例研究，看看是否有关于该主题的研究论文，但是您如何知道这将对您的特定受众有用？或者，您可以简单地复制竞争对手的行为。毕竟，它们比您大，因此一定要完成研究吗？
这就是OpenTable的Sim Wishlade最近发现自己的情况，他雄辩地写了关于他们进行的研究以及他们在题为“ 当3/5不等于6/10时”的中型文章中所发现的发现。可以想象，显而易见的解决方案并不总是最好的解决方案。
02
「当意见失败时」
作为设计师，我们将自己视为经验丰富的决策者，对什么可行和什么无效有敏锐的意识。重复的A / B测试表明我们并没有我们想的那么准确。我们想解释说，客户是未来行为的、判断者，却没有意识到我们会遭受同样的偏见。事实证明，我们实际上对未来用户行为的判断很差。
2013年，在Siroker的下一个谈话中，Siroker解释了他进行了奥巴马竞选的测试。他向听众提出了一个简单的问题。这些视频中的哪个，这些标题中的哪个图像以及这些号召性用语被证明是最好的。可以想象，观众和他们自己的设计师都得出了错误的答案。
03
「设计师为什么不进行更多测试？」
如果即使是最好的设计师也会犯此类错误，我们为什么不进行更多测试呢？我认为对此有两个答案。
第一个答案是过程和工具问题。尽管单个设计人员独立地进行快速可用性测试相对容易，但是A / B测试需要工具和协调。您需要选择一个A / B测试平台，需要您的开发合作伙伴来实施它，并且需要有时间和能力来对结果进行某些处理。如您所见，在很多地方，类似的情况可能会出现。
首先，选择和实施A / B测试解决方案需要时间和金钱。那么，谁来负责评估和购买该系统，谁来管理和实施该系统，谁来付费呢？大多数产品团队发现很难在不增加自己的工作量的情况下运送现有的积压订单。
如果您确实设法建立了测试框架，则实施测试将需要您的设计，工程和分析团队之间的协调。我相信质量检查人员在这里也有话要说。考虑到设计和工程之间的关系在最佳时机可能具有挑战性，难怪设计师喜欢坚持使用一种可以在很大程度上自行管理的更具定性的测试方法吗？
另一个问题是围绕权力和自我形象的。在产品团队方面，设计师始终处于低位，因为他们既没有工程团队的力量（以人数的形式），也没有产品经理的影响。因此，设计师非常意识到任何可能使他们失去力量的东西。
承认他们甚至不知道诸如“我们应该使用卫星系统还是数字等级？”之类的基本问题的答案。会破坏他们已经拥有的力量和地位。将其中一些权力移交给更注重分析的团队可能更具挑战性，特别是如果要回顾最近的历史。
04
「蓝色的阴影」
不，我们在这里不是在谈论一些新的EL James系列。取而代之的是，我们谈论的是多年前在Google发生的一件事件，后来又在设计师的民间传说中流传下来。在Google成立之初，设计还没有“摆在桌面上的座位”，设计师发现很难在以测试为主的环境中蓬勃发展。每个小决定都需要测试和验证，包括按钮的精确十六进制值。在现在著名的文章中，设计师道格·鲍曼（Doug Bowman）解释了他们的测试文化如何将他赶出了市场。
“是的，的确，Google的团队无法在两种蓝色之间做出选择，因此他们正在测试每种蓝色之间的41种阴影，以查看哪种颜色效果更好。我最近就边框应为3、4或5像素宽进行了辩论，并被要求证明我的情况。我不能在这样的环境中操作。我已经厌倦了辩论如此微小的设计决策。这个世界上还有更多令人兴奋的设计问题需要解决。”
这篇文章引起了许多设计师的共鸣，他们认为他们必须从基本原则中证明每个小小的决定，结果，他们作为设计师的代理人正在减少。尽管Google后来为他们的决定辩护，但我可以理解这一观点。常常感觉到其他部门很少或没有尽职调查就将有问题的决定推到了生产中，但是当设计师想要做出很小的改变时，他们必须提供无可争议的证据证明这是正确的选择。
05
「建立实验文化」
因此，关键是平衡。建立一种文化，在这种文化中，A / B测试不被用来赢得争论，并确保正确的事情得到测试。
一家公司比大多数公司更了解测试，这就是Booking.com上的人。在他出色的Google Conversations演讲中，时任设计总监Stuart Frisby解释了他如何在团队中营造实验文化。
06
「A / B测试的潜在陷阱」
尽管设计师应该进行比当前更多的A / B测试，但仍有一些陷阱需要注意。因此，最重要的是，认为每个解决方案都表现更好，这才是正确的解决方案。
很容易看出这种态度的来历。团队被告知改善客户体验是他们的工作，而做到这一点的方法是针对特定的KPI和OKR进行优化。通常与获取，保留和客户满意度有关。因此，团队着手安全地移动表盘，因为他们知道如果他们达到了目标，一切都会好起来的。
您可以在Netflix的Anna Blaylock的精彩故事中看到这种思维方式。在加入Netflix团队时，安娜想知道为什么该产品不让潜在客户在注册前就看到所有提供的内容。从设计师的角度来看，这似乎是明智的选择，因此Anna着手设计测试。
事实证明，如果没有提前看到提供的所有内容，就会有更多人注册Netflix。安娜把这比作看餐厅菜单和吃食物的区别。使用Netflix的体验不仅限于所提供的电影和电视节目清单，还包括 其他任何事情都会使人分心。如果我在Netflix工作，我可能会有类似的看法。我知道该产品很棒，部分是因为我制造了它，所以我要做的就是消除尽可能多的障碍，让其他人也喜欢上它。
但是，我认为注册下降可能还有另一个原因。如果某些用户想对内容做出明智的决定，并认为没有足够的价值，该怎么办？也许他们是想看看自己喜欢的节目是否在该特定平台上，或者他们是在试图判断Netflix是否比亚马逊拥有更多喜欢的内容？因此，也许在大肆宣传之前向用户显示目录是“正确的”事情，即使这样做会牺牲销售。
我认为这是A / B测试的挑战之一。可以很容易地假设，围绕特定指标进行优化本质上是好的，它会竭尽所能达到这些数字。
现在，此特定事件相当无害，这就是我选择它的原因。但是，我确实相信，如果不进行检查，A / B测试会导致严重的问题。
07
「我们今天生活的世界」
可以肯定地说，目前情况有点疯狂。除了全球性的流行病之外，从边缘的地球理论家到烧毁5G天线杆的人们，各种各样的边缘观念似乎都在逐渐受到人们的关注，甚至更糟。
虽然很多人都将“算法”归咎于他们真正在说的是多元测试的一种极端形式。了解哪些内容最有效地促进了互动，并提供了更多内容。现代平台每天可能运行数十，数百甚至数千个测试。这些测试中有许多是自动化的，决策还没有被完全理解，也不一定通过某种道德的角度通过。只要指标不断向上和向右移动，每个人都会很高兴。
[我有时开玩笑说，在参与度指标上升并向右移动时，对话的语气也是如此]
我担心，在追求效率的过程中，许多大型公司都过度设计了他们的设计流程。消除人为的尽职调查，并以坚定不移的信念，即更好意味着更好，躲在他们的OKR后面。
我的意思是，我认为我们都可以同意旅行的变革经验（不包括碳足迹）。但是，用巧妙的措辞提示您造成的额外压力又如何呢？这是“这个价格剩下的最后一个房间”和“现在有5个人正在看这个房间”？这不是一个完全黑暗的模式（假设信息是正确的），并且我确定措词可以通过测试，但这是否是“正确”的事情？
同样，我认为我们都可以同意这个建议在视频平台上有多么有用。但是，当用户打算观看一个视频而最终观看三个视频时，这真的对用户有好处吗？这是否是需要优化的东西？
现在，我很欣赏A / B测试以及它的程序化建议，并非仅归咎于此。但是，这种情况在公司内部的规模已经变得难以应对。尤其是在隐藏我们实际上正在做的论点是针对我们一直在做的同一组KPI进行优化时；我们只是在做得更好。
因此，尽管我认为设计师应该比现在进行更多的测试，但我也认为重要的是要知道何时不自动化决策。我鼓励您开始使用这项技术，甚至可能考虑在下次更换工作时采用成熟的测试文化。
但是也可能值得问访员以下问题：
“您最后一次决定不发布A / B测试证明性能更好的更改是什么，为什么？”
这样，您至少可以分辨出狗是在摇尾巴还是在尾巴在晃动狗。
原文：查看链接 ↗
作者：Andy Budd
译者：益生菌菌
原文请戳【阅读原文】
为尊重版权和译者
转载请联系我们
我们
服务.体验.交互设计传道者
「一只朝菌设计学园」由毕业于清华大学人机交互专业的学长创办，致力于创造卓越的设计知识学习课堂，专注交互设计、用户体验设计、服务设计领域的专业知识教育。
教师团队来自于清华大学、同济大学、上海交大、北京理工大学、北京邮电大学、中山大学、华南理工、江南大学、香港大学、香港理工、台湾科技大学、Imperial、POLIMI、Delft、Oslo、Goldsmiths、Edin、Glas、Manc、Lancaster、Loughborough、Leeds、Arts London、BCU等国内外高校，以及Microsoft、阿里巴巴、腾讯、网易、华为、央视、百度、美团点评等企业集团。
清华大学有训曰：行胜于言。「一只朝菌」谨承母校百年教诲，时刻铭记师者之责，为好学者传道授业，为有志者掌灯引行。