01
写在前面
我们将探索并教给你十分好用的用户体验方法，你可以利用这些方法去设计超越经典图形用户界面（GUI）的交互。开发无界面用户交互（NO-UI）是研究人员开创性的工作，他们已经意识到，在当今世界，我们已经被不断需要我们集中注意力的计算机和应用程序所包围：智能手机，平板电脑，笔记本电脑和智能电视正在不断地占用我们少得可怜的时间，提醒我们有关的事情或请求我们的行动。及时了解无界面交互的发展将丰富你的专业技能，你便可以以更巧妙的方式与用户对话。
这些请求和操作大部分是通过用户与图形用户界面的交互完成的，在交互过程中可能你可以听到急促的音频或振动提示。然而，丰富的用户体验不仅依赖于良好的视觉设计：它们可以利用现代计算设备的环境感知、传感器和多模态输出能力。为了更好的利用无界面交互，我们需要仔细设计无界面交互，考虑到软件和硬件传感的现代进步，再加上人工智能（AI），它们继续改变我们与计算设备交互的方式。我们将逐渐不再设计需要用户全神贯注的GUI，转向设计更宁静，更不突兀的交互形式，将没有界面的人机交互带入用户体验的核心。
Mark Weiser是前Xerox PARC的一位有远见的研究员，他被广泛认为是普适计算之父，他认为， 在一个我们被信息和数字包围的世界里，技术应该以一种宁静不显眼的方式赋予用户使用技术的权力，应该在用户注意力的边缘发挥作用。
“宁静技术最终设想就仿佛是把我们放在家里，放在一个熟悉的地方。当技术在我们的注意力边缘运行良好时，我们就会更加关注我们周围正在发生的事情，将要发生的事情以及刚刚发生的事情。这是信息可视化技术的一个关键属性，就像松树一样，尽管松树的内部复杂，但我们注意力往往放在它的外部形状上，所以我们永远不会对它复杂的内部感到惊讶。”
**——Mark Weiser & John Seely Brown， Xerox PARC**
02
用实例阐述定义
几十年来，图形用户界面（GUI）一直主导着我们与计算机交互的方式，并继续成为与我们的计算设备交互的主要方式，它们在不断发展成完全不同的形式并变得无处不在。尽管许多交互设计元素保持不变（例如，图标驱动的界面，长按，短按和双击等），但是多点触控、手势输入和电容屏等进步已经使交互远远超出了90年代早期的样子，特别是在移动设备中这种变化更大。
PARCPad和Newton的第一个GUI驱动的移动计算设备，以及智能冰箱和智能遥控器的GUI
GUI的主要目标是以易于理解和可访问的方式呈现信息，并提供可视化控制和直接操作机制，通过这些机制，用户可以与此信息进行交互并指导计算机执行任务。我们习惯于使用GUI，我们认为GUI的基本原则是 ：计算机的工作是呈现数据，解释用户的指令并处理数据；作为人类，我们的工作是理解信息，发布命令序列，通过这些信息可以转换或处理它，最终将计算的最终结果与预期目标或周围环境相匹配，以便我们理解计算的最终结果。
让我们用一个日常的场景来说明这一点。想象一下，你在一个新地方度假，想找一家好餐馆吃饭，同时走在你正在访问的城市的主要街道上。你在移动设备上调出 TripAdvisor 应用程序。你向它提供你的位置（或允许GPS获取定位），并告知应用程序你正在寻找餐馆。该应用程序会显示符合你条件的结果列表，以及有关每个结果的一些基本信息（例如，它们的名称，类型，评级和与你之间的距离）。通过滑动列表，你可以找到一家听起来不错的餐厅（例如，“La Pasteria”可能会吸引意大利美食爱好者），餐馆不会太远（这可能取决于你喜欢它的程度，或者你很愿意或擅长走路），并且评级不错（如果不是太远，而且是意大利的，那在20个餐馆中排名第一或者在500个中排名前五十都是相当不错的）。
一个好的GUI设计将指示你输入提供的文本和命令，并以一种在看到结果时易于理解的方式告知你行为的结果，从而帮助你实现目标。然而，困难的部分（即决定哪一个最终是一个好的行为路径）是一个完全由你自己执行的任务。只有你知道你自己的个人偏好、情绪和能力，以及你的同伴的偏好、情绪和能力。有没有注意到做出这样的选择通常需要多少时间（特别是如果不仅仅是你自己会去）？
你十分饿吗？你需要花多少时间使用应用程序来查找听起来不错的餐厅？如果你到达那里，餐厅不是你所期望的，你会花多少时间？这些都是需要考虑的问题。
现在想象一下，如果在不使用移动应用程序的情况下，还是同样的场景，但这次是你和住在那个城市的朋友一起走在那条街上。当你走在路上时，会出现几十种选择，但你的朋友只有在你经过她认为你可能喜欢的地方附近时才会问你要不要去。所以，她可能会主动告诉你两三家餐馆的名字，但她的建议是基于更多的因素：可能是她曾经去过的地方，或者过去向其他朋友提供建议的经验，或者是了解到他们朋友反馈的经验，或者是这家餐馆很近， 或者它目前很火爆，或者它适合情侣或大型团体，等等。实际上，你当地的朋友对你进行了大量观察和假设，添加了自己的经验和知识，并将结果缩小到只有几个，从而为你节省了大量的工作。这便是她为你提供的“无界面”体验：主动发起有关目标的对话，将交互限制在一些自然的问题和响应中，考虑大量观察和假设，并向你展示艰难而密集计算的结果。现在的问题是，在设计应用程序和服务时，我们能否复制这种体验？我们需要什么技术来完成这样的任务？
无界面体验：来自我们注意力边缘的智能规划
03
三个无界面交互构建基块
从前面的示例中，你会注意到无界面交互主要基于三个基本构建基块：
基于内部信息的观察
你朋友已经考虑了一些关于“你”的情况：无论你是独自用餐还是与伴侣一起用餐，你的年龄和健身水平，一天中的时间以及酒店与其他餐馆的距离。这些都是移动设备可以“感知”的事实。作为设计人员，你可以利用通过硬件传感器、设备内部或外部数据存储库或用户分析提供的信息：例如，通过蓝牙陪伴、通过 GPS/网络定位和通过数据库定位、通过应用（例如 Google 健身）提供年龄和健身信息、通过时钟获取一天中的时间。不需要向用户询问任何信息，除非你限制它获取信息的权限！
基于外部信息的获取
你的朋友也知道很多事情：许多游客已经向她反馈了他们推荐的一些地方，你可能喜欢的地方，这取决于你是和伴侣还是团体一起用餐，一个地方有多火爆，他们的食物质量与他们的价格相比是否匹配， 她对该地区的了解以及通往场地的路线有多复杂，等等。作为设计师，要及时了解技术发展，并了解从外部来源提取知识的技术——例如，从语义和情感上分析在餐馆留下的评论和提示，了解访问过餐馆的用户的个人资料等。来自FourSquare或Google+等服务的各种API能够为我们提供这些信息，并且有一些方法可以帮助你组织它。
基于智能的整体优化
根据她的对你的观察和外部信息的获取，你的朋友对你做了一些假设。将观察与知识相匹配需要动脑子去思考。这确实是最困难的部分，虽然观察你的喜好和外部信息获取相对容易，但它需要花费精力去做优化考虑：例如，如果这个餐馆午餐时间关闭，那么即使它是最受欢迎的餐厅，吃午餐也不好，哪怕这家餐厅恰好也非常靠近你的位置。在其他时候，看似不重要的信息可能会变得至关重要——比如，这是你伴侣的生日，她最喜欢的食物是中国菜。因此，在那个特定的日子里，这个信息才是头号重要的。请注意，这里的标准甚至不仅与用户自己有关：我们生活在一个与其他人和社会规则有着复杂关系的世界中，详细了解这种社会背景并不是那么容易。
在这里，将一切联系在一起的关键因素是基于智能的整体优化。没有此步骤，就不可能有无界面应用程序。智能优化不仅决定了你作为设计师应该向用户展示什么结果，还决定了你应该如何呈现它。
“深度学习是一个过程，在这个过程中，计算机自己理解和解决问题，而不是让工程师编写解决方案。深度学习是一个彻底的游戏规则改变者，它使人工智能达到了以前被认为需要几十年才能达到的新高度。如今，计算机可以比以往任何时候都可以听到，看到，阅读和理解人类。这为人工智能驱动的应用程序打开了一个充满机遇的世界，企业家们都在向这个领域进军。”
**——Tony Aube，OSMO首席设计师**
在开始时，我们谈到了超越GUI的交互设计，这意味着逐步尝试通过多模态界面与我们的用户进行交互。声音，语音合成，振动甚至文本，就像聊天机器人一样，是我们以不同程度的颗粒度来传达信息的方式。你不应该仅仅因为习惯了每天使用的应用程序发出的哔哔声和嗡嗡声，就假设你知道如何更好地进行多模态交互。相反，多模态交互是你必须根据应用的目的并通过考虑用户的能力和使用情境来仔细设计的东西。例如，在我们之前的示例中，手机上的强烈振动可能意味着你已经走过了你想要去的餐厅，因此你应该回头。在手机振动时摇晃手机或按下硬件音量按钮可能会向设备发出信号，要求其发出语音指令（例如，“它位于您身后和右侧”）。这些交互行为是好是坏？这是你必须通过实验和以人为本的设计自己发现的东西。
我们还需要一定程度的智能优化来阐释用户与设备的物理和手势交互（例如，用户是否要为了停止当前的引导而摇晃设备）。此外，我们需要智能优化才能确定呈现信息的最佳方式（例如，如果用户处于非常嘈杂的环境中，那么应该显示视觉信息而不是语音信息）。此外，最后，一旦我们在现实世界中使用过程中完成了交互行为，我们就应该将结果反馈到我们的交互模型中，帮助计算机从行为过程中学习。这才是智能优化的真正含义——能够感知我们周围的世界，并从我们与它的互动中学习。
04
为什么要探索无界面交互
人类的主要进化是利用他们的视觉来感知和理解他们周围的世界（无论是物理的还是数字的）。因此，GUI不会很快消失，特别是当需要向用户呈现大量信息时。在无处不在的计算世界中，对信息的需求量是恒定的；即便如此，我们也不应该忘记，用户需要的大部分信息都是简洁的：推荐一家好餐馆，比如某人的电话号码，今天下午的天气预报。像这样的信息片段可能需要复杂的系统来生成它们，然而，虽然系统复杂，但并不意味着获得它的手段也必须是复杂的。获取信息所需的交互与信息量的平衡至少应该是中立的，并且最好倾向于减少交互，同时将信息推向我们的注意力边缘，而不是我们关注的中心。Mark Weiser（1997）称这个概念为“Calm Computing”。Uwe Hansmann等人（2003）和Stefan Poslad（2009）是两篇关于普适计算的关键文本的作者，他们都坚持认为：人机交互必须是“透明的”或“隐藏的”。通过无界面技术最大限度地减少交互，可以减少用户体验与设备或应用有关，避免日常生活的复杂包围用户。
例如，萨尔州大学的研究人员Antonio Krüger等人（2004）和魏玛大学的Katharine Willis等人（2009）表明，与移动地图的持续互动会导致用户的一些认知困难，例如建立周围环境的详细心智模型的能力下降，未能注意到重要的地标以及到访新地方的体验乐趣缺失。
这些图中所展示的是移动地图中GUI交互的缺点，正如Katharine Willis等人（2008）所展示的那样。想要学习一个地区及其地标（a），使用移动地图（b）与使用纸质地图（c）相比：使用移动地图用户倾向于关注地标之间的路线，而使用纸质地图的用户可以更好地了解整个区域。
05
无界面交互的示例
由于上述原因，我们已经进行了大量研究，研究将移动设备上的交互减少到多模态，到无用户界面方法，但也有一些自2015年以来越来越受欢迎的商用服务的例子。后者的一个例子是聊天机器人，它试图提供虚拟助手类型的体验（尽管可以说，文本界面仍然是GUI）。人工智能驱动的聊天机器人在2016年成为一种趋势，因为Pana（前身是旅游预订机构Native）等新公司的出现，以及现有服务中机器人的集成，例如Facebook的信使（使用Facebook自己的引擎或ChatFuel等第三方AI引擎）。其他公司也加入了自己的服务潮流，例如，在2016年，FourSquare推出了一个对话机器人，它将取代其传统的搜索界面，并通过回答用户的问题来提供建议。FourSquare应用程序还根据你的位置，一天中的时间和个人资料主动发出通知（例如，“你是否在特拉法加广场附近？你是否想试试约翰的咖啡？”）
FourSquare的主动通知提供与用户位置相关的信息，而无需用户与移动应用程序进行交互。
以上是通过Facebook Messenger与CNN聊天机器人互动的一个例子。虽然它仍然是一种基于UI的交互方法，但界面类似于（但不是真正的）自然语言，没有传统的小部件，菜单和选项。请注意第三张图片中是如何处理语言歧义！
其他有趣的无界面示例可以在有关研究中找到，汉密尔顿研究所的Steven Strachan等人在2005年展示了一个概念，通过改变音乐音量（较低的意思是更远）及其方向，使用3D音频来指示目标方位，从而向在耳机上听音乐的用户提供导航指令。
在另一项与非视觉导航相关的研究中，格拉斯哥卡利多尼亚大学的Andreas Komninos和一些同事（Komninos等人，2012）使用3D音频来判断一个人脚步声的恒定音频流。与音乐那个例子相反，这个例子使用城市环境自然的音频，声音的方向指示到计算路线到目标的最近路段的方位， 其音量显示用户与该路段的距离。
通过3D音频导航的SoNav原型由Andreas Komninos等人于2012年创建：用户只需选择起点和终点，同时自动计算路线（a）——这是唯一的视觉交互元素。从那里开始，用户听到来自最近路由段方向的连续声音，或位于重要地标（b）的音频信标。在一项实验中，用户从地图的左上角开始，探索了路线音频信号覆盖的几乎所有区域（GPS伴热图）（灰色阴影区域），以到达目标音频信标（红色阴影区域），每个用户可以采取不同的路线并自由探索城市（c）。
来自格拉斯哥大学的David McGookin和Stephen Brewster（2012）也展示了一个基于3D音频的系统，利用流水的声音和投掷的石头飞溅的声音，来显示用户在城市地区发推文的量（从而表明该地区的社会“脉搏”）。水流的音量显示推文的时间密度，而单个石头飞溅以3D音频呈现，并显示用户位置附近实际发出的推文。其他模式，如触觉反馈，这是先进的振动模式和波形，用于向用户传达信息，具有此功能可以允许用户在不查看设备的情况下监视设备的“状态”。例如，德国电信（Deutsche Telekom）的研究员Fabian Hemmert（2008）开发了一种系统，其中恒定的振动向用户呈现未接来电或传入消息的数量——振动起初几乎无法察觉，但随着设备上积累的更多“事件”，它的强度和频率会上升。作为设计师，在应用触觉反馈之前，你必须三思而后行，因为用户可能对不断振动的扰动不感兴趣。如果用户只有一个应用程序，该应用程序使用振动的强度和频率上升作为未接来电的反馈，这可能很好。另一方面，尝试想象一个用户有五个应用程序，这些应用程序每次都使用振动作为反馈，例如，一封新的电子邮件，“突发新闻”或一条新的在线消息。你是否还会有兴趣自己使用这些应用程序？
更奇特的想法包括移动设备热接口的使用：格拉斯哥大学的Graham Wilson等人（2012）已经展示了如何在设备上使用热传输垫来完成向用户显示来源（工作或个人）和传入消息的重要性的工作。
在上述所有示例中，无用户界面方法都不完整。语音对话机器人可以访问外部知识，也可以使用相当复杂的AI（主要用于解释你的问题），但不会使用设备传感器直接观察用户。发起交互的也是用户，而不是应用采取主动的方法。用户还面临着提供有关其目标和所需任务的信息的繁重任务。在研究实例中，传感器具有获取有关用户的信息以及获取外部知识的作用，但AI的使用相当有限。在我们的研究示例中，使用GUI也是体验的一部分，因为用户需要它来输入一些基本信息（例如，他们的导航目标）或启动服务。然而，在这些示例中，我们看到了无界面方法如何很好地工作，允许用户轻松地将注意力转移到监视正在进行的任务的状态或进度上，而无需真正与GUI进行物理交互（例如，在使用简单的地图应用程序时，你可能偶尔会从口袋中取出设备以查看你所在的位置）。
06
要点有效的无界面方法在很大程度上基于情境感知的概念，其中包括用户的目标和偏好，对周围环境的了解，社会规则和设备能力，以便知道如何以及何时以非视觉方式向用户传递信息。很难获得完整的无界面服务所需的情境感知级别，但上面的示例显示了 无界面交互方法用在何处最有效：允许用户监视正在进行的任务的进度或在重要信息出现时及时获取重要信息的更新。
这里无界面设计的主要优点是， 它消除了用户与设备进行持续视觉交互的需要。 你从口袋中取出设备，使其退出待机模式，自行解锁，然后将所需的应用程序置于前台或为你扩展通知，以便你可以评估显示的所有信息并做出决定。
在一个被信息和数字事件包围的世界里，Mark Weiser预见到了平静技术的必要性。作为一名设计师，你的任务仍然是利用和推动技术的发展，设计其功能时要记住一件事：让用户时刻保持清净以继续进行手头的任务！
ABOUT US
参考文章：
作者：
Andreas Komninos
译者：小鸡炖蘑菇
为尊重版权和译者
转载请联系我们