语音用户界面交互模型的设计正在发生变化。支持自然语言交互的设备越来越多，比如家庭助手，移动设备等。这些设备正在转变并在多个家庭场景中引入语音交互，这导致了其交互模型设计的重要变化。在电视环境中，通过图形界面或语音优先设备支持的多模式交互中引入了语音交互。
本文对前沿的语音交互设备使用案例和发展趋势进行了分析，对电视背景下大量语音用户界面的语音交互最佳实践和指南做了系统的文献综述，并分析其商业解决方案。此篇文章还研究了各种用户输入方法的适用性，视觉符号和元素的整合性、以及用户体验如何因这些变化而改变。结合互动电视的发展趋势，此文章分析了在广播电视体验中如何根据用户个性化的情景和习惯而合理化界面设计，打造更好的用户体验。
本文的分析报告将支持一个行业和学术研发项目，该项目旨在为广播公司的机顶盒开发自然语言交互解决方案的界面。未来有关电视产品和应用的语音用户界面的研究也可以从这项调查中受益。
01
老年消费者：尚未开发的商业潜力
语音，以及对话，作为人类的主要交流方式，是一种人们能够快速、清晰地表达感情和愿望的手段。虽然用户和机器之间的语音交互技术仍在不断完善中，但这一领域的进展和进步比以往任何时候都快，人类语言本身已经成为一个新的用户界面层（User Interface layer）。语音交互发生在语音用户界面(VUI)。VUI的前身是IVR（交互式语音应答），其中输入主要是或完全是语音，而输出可以是音频或也可以是视觉展示。VUI由提示、语法和对话逻辑组成，因此可以将可能的输入和查询以及响应包含在呼叫流数据库中。用户的口语通过麦克风收集，并由自动语音识别（ASR）系统解码以产生响应和反馈。高级系统通常包括进一步的自然语言理解（NLU）组件，可以识别和感知更复杂的用户意图。
多模态平台（multimodal platforms）中的语音可以丰富用户的体验，同时允许用户不需要 "将所有的注意力集中在一个反馈渠道上"，并且信息在屏幕上显示时，会减少人们对纯听觉界面中"输出的短暂性"的认知负担。此外，多模态解决方案中的语音对人类来说是一种自然的、比触摸板、键盘或遥控器更直观的输入。随着语音和语言识别技术的进步，单词错误率下降到接近5%， 在不久的将来，语音将成为交互系统的前沿。
在考虑交互式电视系统时，所提到的机会也是真实存在的，与公共空间相比，交互式电视系统的使用环境更私密，噪音更小，让用户感到安全和自在。这些环境有助于克服一些最常见的语音交互用户问题，如隐私问题、与机器交谈时的困扰或外部噪音(例如，其他用户的语音)的影响。在考虑电视系统时，要成为一个成功的语音用户界面（VUI）是一项特别重要的任务，因为大多数电视系统都受到遥控器的限制，用户体验依赖于与各自的按键的互动。尽管行业专家认为用户还没有准备好在不久的将来完全摒弃遥控器，但他们声称，在多模态交互中，语音 "将在未来的电视用户界面中发挥重要作用"。
与现存的（existent）、过去（past）的和当下（present）的语音用户界面的汇总及其视觉分析有关的研究仍然是不多的。 对用户与电视的语音交互的研究大多局限于此类系统的效率和准确性，而其图形表现和整体用户体验还没有成为深入研究的对象。本文分析了一些正在运行的支持语音用户界面（VUI）视觉显示的设备，包括互动电视平台、机顶盒（STB）、智能电视以及与电视相连的家庭助手（从2016年到2018年的商业版本）。根据品牌知名度和销售情况，以及之前关于互动电视平台用户界面趋势的调查，我们收集了一些案例，以便对2016年和2018年上半年推出的互动电视的语音用户界面（VUI）做一个总体回顾。由于可区分性的功能和特征有待进一步分析，我们考虑从一系列产品中选择了四个例子进行分析。
02
文献综述
（一）语音用户界面简史
从20世纪50年代的单数识别系统（single digit recognition）开始，语音用户界面（VUI）系统在随后的几十年的研究中逐步演化，扩展了其自身的含义，其中包括了 自然语言理解（NLU）。在本世纪头十年（2000s），交互式语音应答系统从实验室发展到了现实世界，成为了一种简单易行的使用固定电话来执行任务的方式，它的一些应用比如说：查询交通情况和追踪邮件包裹。
在随后的几年里，语音用户界面几乎没有什么变化，直到2010年后新系统的出现。这些新系统正在成为主流，要么是越来越多地使用结合了视觉和听觉信息的语音交互移动应用，要么是智能扬声器或智能显示器等纯语音的设备。这个 "VUI的第二个时代"比早期的系统更深刻的影响我们的日常生活。2016年，谷歌报告称，20%的用户使用谷歌应用程序的搜索是通过语音完成的，2017年，在通过谷歌助理完成的智能手机操作中，几乎70%是用自然语言表达的，与常规的基于关键词的输入相反。正如Cohen所预测的那样，随着这些新的VUIs变得更加直观、高效和无处不在，它们将为用户提供了更加愉快的体验。
（二）如今的语音用户界面
总的来说，对语音用户界面(VUI)的期望与处理纯图形界面时不同，因为用户在激活命令或与机器交谈后，往往期望有更自然的互动， 因为 "他们习惯于与其他人交谈，而不是与技术交谈"。
在数字个人生态系统中，随着更高、更复杂任务(行动导向)的需要，VUI正缓慢而稳步地发展到 对话式用户界面。与简单的语音命令相反，对话式用户界面的建立是为了创造互动，在这种互动中，两个代理人（用户和机器）都在 “为共同的目标而努力”，推动在“质量、数量、相关性和方式”方面的合作对话，力图做到真实、简洁、相关和清晰。
这样一来，一个成功的对话式用户界面应该像谈判一样展开，不是一次性的问题和答案，而是 "优雅的互动"。因此，对话式的用户界面不应该仅仅依赖于用户的输入，而应该比用户想要或需要的更进一步。因此，合作对话至关重要：机器越有能力像人一样进行对话（例如：连续发言、对之前所说内容的回答管理、轮流发言）用户就会对一个“与他们互动，而不是纯粹导航”的系统感到更高兴。
因此，语音系统正在被越来越多地被设计出来。最后，一个真正的对话式用户界面应该让用户感到惊讶，当这种情况发生时，它会推动用户继续与系统对话，直到进入死胡同。学者们预计数据科学和机器学习可以改进系统， **通过开发“具有真正洞察力和对有价值的个人问题的准确答案”来实现这一点，让人感觉像是魔术一样。**
语音助手在使对话式用户界面流行方面发挥着决定性的作用。依靠 自然语言处理（NLP）技术，支持新的个人用户体验的语音助理被创造出来，通过将先进的人工智能（AI）与不断改进的对话角色相结合，创造一个持续的双向对话。建立一个令人满意和成功的对话式产品和用户界面的复杂性与人类语言和对话的复杂性有关。考虑到多样化的受众，今天的系统不仅要能理解定义的意图，而且要能跨越世代、语言模式和口音。
证据显示，语音激活系统所提供的便捷性与免提方法（hands-free approaches）可以广泛用于日常任务，如设置约会或控制智能家居环境。有了谷歌助手，相对于搜索而言，用户查询“以行动为导向的可能性是它的40倍”。还有一种趋势是，用户在与语音助手进行复杂的对话类型对话时，会使用动词和完整的句子来表达自己的意图。
（三）交互式电视上的语音用户界面
语音交互是一种 "有效的输入方式"，特别是在交互式电视场景中，相比复杂的遥控器，它带来更快的速度和易用性。在电视领域，最重要的VUI是在二十一世纪第二个十年初推出的。电视制造商提供了语音交互功能，使残疾人更容易使用该设备，而媒体中心和智能电视则重新选择了外部互动设备的结合来提供语音控制，如Xbox的Kinect或谷歌电视的配套应用与谷歌语音。然而，这些系统仍然由定义有限的一组控制和命令组成，这些控制和命令只由几个字和几个动作组成。
如今，VUI在电视方面的应用越来越多。在大多数情况下，它们被用来代替在搜索时冗长而缓慢的文本输入，提供了绕过复杂的导航和屏幕上的键盘与遥控器交互的机会。但是，考虑到电视生态系统的特殊性，挑战还在于为用户提供他/她所要求的东西。 这包括一个特殊的词典和语言模型，用于处理各种操作，包括访问实时和录制的目录、用户偏好、记录的帐户和可用的优惠。
此外，从设计的角度来看，这些界面和整合它们的可视化组件是用户体验的固定部分，而这也决定了它们的成功与失败。这样一来，建立在大数据和密集训练基础上的支持语音交互的系统设计，应该能够清楚而方便地传达信息和对用户的要求和意图做出回应。虽然在纯语音的用户界面中没有视觉显示，但在电视屏幕上呈现的多模态语音用户界面可以而且应该设计成给予用户适当的视觉反馈，以改善其体验。屏幕可以让VUI向用户展示其命令的选项和建议，设定明确的预期并提高可发现性，而遥控器可以提供不同的输入模式，在语音无效的情况下帮助用户达成对其请求的有效答案。
此外，电视成为声控助手和智能音箱的视觉显示设备仍然是高度可能的，因为一半的美国业主说他们有兴趣在电视上使用这种技术。由于超过50%的智能音箱被放置在电视所在的客厅里，所以与个人设备和平台的直接和即时连接 的语音交互界面（VUI）使得家庭助手成为免提（hands free）环境中的完美中介。智能音箱可以从房间中的任何地方访问，无论其位置和方向如何，在该环境中，智能音箱既可以方便，也可以受到多种声音的影响-带有智能扬声器的交互式电视的用户交互界面（VUI）应该考虑电视内容中的声音和对话，以避免其错误地触发系统。
虽然语音技术在一些运营商的播放器和智能电视中已经变得很普遍，但“只有50%的消费者偶尔会与他们的设备交谈”，揭示出与机器交谈仍会让一些用户感到不适。
根据Xfinity的X1语音遥控器报告，他们每月产生的语音命令超过5亿条，仅2018年第一季度就超过15亿条。
（四）目前电视中语音用户界面的视觉应用
为了确定当前电视语音交互的方法和趋势（第4节），我们分析了一组来自不同背景的VUI。 从之前对48个颠覆性的商业互动电视界面的调查中选出了一些技术先进的播放器、媒体中心和智能电视的VUI。其中，有24种产品采用了VUI解决方案--包括15种基于远程的语音交互的设备，2种提供原生的免提（hands free）交互的设备，7种只与外部智能设备助手一起协作的设备。此外，我们还考虑了全新的产品，如对话式助手（谷歌助理、亚马逊的Alexa、微软的Cortana、苹果的Siri、三星的Bixby）以及语音控制电视（LG的ThinQ、Roku的Enhanced Voice）和语音机顶盒（DirecTV和Swisscom）。
对VUI的分析表明，最近在互动电视平台上的语音解决方案的进步已经产生了一致的交互模型，支持类似的视觉元素，如麦克风图标、互动开始和持续时间的动画视觉标志、文本输入反馈和用户查询的可视化结果。
这样一来，大多数当代电视中的VUI都遵循类似的布局和视觉元素，商业产品通过两种流行的图形化VUI模型设定标准。最受欢迎的是在现有界面上创建一个叠加层，在使用语音命令时激活，并显示在屏幕的下部（图1）。这个新的图层保持了整体的视觉元素，如排版或调色，但增加了VUI反馈和交互所必需的新的视觉组件，如麦克风图标和与交互有关的行动元素。这种视觉效果允许用户专注于正在进行的语音交互，为更复杂的交互创造认知和视觉空间，如组合搜索、多个语音查询或可能在未来与系统的对话。这种界面设计方案使用户保持在相同的界面和他/她正在观看的内容上，同时清楚地显示新的互动正在发生。
图1. 叠加的VUI模型的例子。LG与谷歌助手的整合（顶部）Infinity X1机顶盒（底部）
当从一开始就包括视觉提示时，可以识别屏幕上的第二个VUI模型。在这种语音优先的方法中，产品将语音交互作为首要任务。 尽管这些产品的设计在某种程度上仍然依赖于用户的触摸，而不是简单的语音命令， 但首选的输入被设计为用户的声音。
在这第二种模式中，屏幕的设计是不同的，因为视觉线索和组件被设计成布局的一个组成部分。视觉元素是为语音交互量身定做的，通过不使用菜单和强调文字来反映在小界面，并且通过提示或用户查询的视觉反馈而成为屏幕的重要组成部分。尽管这种交互模式还处于早期阶段，但诸如亚马逊Echo Show或联想智能显示器等商业产品在提供优先考虑语音的新的多模态屏幕方面正在取得突破，将语音屏幕组合确立为能够有效地设定期望的产品。
图2.语音优先VUI模型示例：Amazon Echo Show(左)、Lenovo Smart Display with Google Assistant(右)
03
案例分析
电视语音用户界面的发展趋势
为了更好地了解互动电视VUI的未来趋势，我们选择了四个案例，这些案例在互动或视觉显示上提出了独特的VUI解决方案。这些案例通过以下方式展示了超越当前趋势的解决方案。
1. 引入用户使用环境，将其作为对VUI的影响因素--Xfinity One；
2. 呈现对话式布局和视觉元素--LG的Voice Mate
3. 随着系统的普及和用户数量的增加，对个性化数据进行广泛使用--谷歌助手及其在安卓电视上的使用。
4. 越来越多VUI个性化工具--亚马逊的Alexa和它在Fire Cube TV上的使用。
接下来，本文使用这四个案例将详细介绍了设备与用户的互动方式，以及支持和增强用户与系统交互的图形元素。
（一） Xfinity
Xfinity的语音控制1（与语音向导相结合）最早于2014年推出，旨在帮助用户通过声控搜索找到内容，并允许他们通过简单的语音命令在X1机顶盒上设置定义（例如，编程DVR）。
Xfinity的语音控制在过去几年中得到了显著的进步，并增加了一些功能，如通过蓝牙追踪器Tile寻找物品的命令--"Xfinity Home我的钥匙在哪里？" - 或锁定智能锁--"锁定前门"。因此，对智能家居设备的控制是Xfinity语音控制体验的一个重要部分，通过机顶盒提供统一的家庭用户体验，为电视焕发新的价值。Xfinity为越来越多的用户意图提供语音控制，并结合用户的情境来实现。
该公司展示的一个例子是，通过专门设计的侧边栏，显示正在观看的比赛的足球统计数据（使用命令 "给我看足球统计数据"）（图3-顶部）。其他的例子包括新的语音命令，以享受冬奥会等活动（图3-下）--"今天有什么奥运活动？" - 或在《美国达人秀》上投票。
图3. 用户情境感知下的Xfinity VUI的足球统计（上）和奥运成绩（下）
（二） LG语音伴侣(2016)
在过去的三年里，LG在其智能电视的各个型号中发布了多个VUI。2016年的Voice Mate VUI2版本在视觉上具有颠覆性，类似于图形用户界面所显示的独特的外观和感觉。VUI的互动发生在右下方，区别于其他界面（图4）。它被设计成一个类似于聊天的界面，虽然它没有提供对话式的互动，但它在视觉上清楚地将什么是用户的输入和平台的输出分开。互动开始时，左边有一个语音泡泡，上面有 "现在说话 "的指示和一个可能的命令的例子（例如 "语音指南"）。命令建议是不断变化的，尽管它们与使用的环境无关。当用户说话时，视觉上会有反馈，而结果也会在同一个侧边栏中显示出来，并在屏幕的右半部分覆盖一个半透明的暗层。这使得用户可以继续观看它的内容，而不会在呈现结果或进一步的选项时完全取代界面。
虽然这种模式最终被忽略了，因为在前面的章节中，LG集成了谷歌Assistant，加上语音用户界面和NLU技术的发展，以及系统和用户之间更复杂的对话，可能会带来像LG的Voice Mate那样更具对话性的图形界面。
!Image
图4. 激活的Voice Mate（上），Voice Mate搜索结果（下）
（三）谷歌助理
谷歌助理3在2016年的I/O大会上首次推出，这是谷歌的年度会议。它的目的是创造一种新的个人用户体验，将先进的人工智能与不断增强的对话角色结合起来，创造一种持续的双向对话。谷歌助理可以通过不同的方式来控制互动电视：使用谷歌Chromecast，通过其他设备（即谷歌Home等智能音箱）或原生安装在智能电视或媒体中心（如Android TV）来接收指令。这允许不同的互动方式，因为它可以在免提设备、遥控器或智能手机应用程序上使用唤醒句 "Hey/OK, Google "进行访问。随着安卓设备的数量不断增加，谷歌助手使用的重要性是指数级的，增加了其与电视相关的指令的使用潜力。
像Google Home这样的家庭助手允许使用模拟简化的界面，通过听觉信号和4个点的极简动画来实现免提（hands free）互动。与谷歌生态系统的整合也允许用户在电视版图之外进行搜索，或者用谷歌行动（谷歌助理的第三方 "应用程序"）执行许多命令。因此，尽管它与具体情境无关，但它提供了大量的信息，并显示在电视屏幕的底部（图5）。
图5. 安卓电视上的谷歌助理VUI--天气结果（上），搜索结果（下）
（四）亚马逊Alexa
亚马逊Alexa4是在2014年与智能音箱亚马逊Echo一起发布的。近年来，Alexa已经被调整为通过亚马逊Echo Show等智能显示器和亚马逊Fire Cube等设备在电视上提供视觉上的结果。因此，与Alexa的互动既可以通过唤醒词（如 "Alexa"），也可以在遥控器或智能手机上启动。不同的支持Alexa的设备的数量正在增加（超过20.000个兼容设备），但用户仍然需要有一个支持Alexa的外部设备。此外，Alexa技能（第三方 "应用程序"）正在以指数级的速度增长，全球已有超过50.000种技能被列出。
在使用智能音箱时，互动遵循一种极简的方式，以蓝色渐变的LED灯作为视觉反馈。如果集成到电视上，同样的视觉符号被调整为电视屏幕顶部的一条水平线（图6）。另外，与电视控制无关的Alexa命令会产生新的界面，占据整个屏幕，如图6所示（例如，天气、电影院播放的电影）。视觉效果定期可用，并根据用户的情境进行调整(例如，尝试“Alexa，向右滚动”)。
图6. 唤醒词激活了亚马逊Fire Cube上的Alexa VUI（上），Alexa VUI对电影院播放的电影的结果（下）
04
结论
VUI可以成为真正提供新的电视体验的交互模式，重塑遥控器的常规使用，并将交互带到客厅这个流动和开放的空间。像电视这样的屏幕可以 "成为对话式人工智能的画布"，为语音激活的输入提供视觉输出。虽然语音本身不能单独提供最佳的用户体验但语音和远程控制的结合是许多学者们采用的方案。
将语音激活指令引入智能电视、机顶盒或通过智能助手控制的设备正在增加，这允许用户用语音取代遥控器，并对他们的电视相关行为产生影响。然而，在一个已经设计和测试过的系统中加入语音交互应该是有意和谨慎的。因为它将把一种新的交互模式引入到用户已知的交互模式中，所以为商业互动电视设计的VUI应该成为原版“外观”的一部分，同时维护一个新的空间，而不破坏现有的设计系统。
分析表明，有两种主要模式正在成为电视VUI设计的标准。第一种引入了一个超级叠加层，不破坏用户体验，保持界面的外观和感觉，使用户能够在交互方式之间平稳过渡。第二个模型响应了语音优先的方法，即语音是主要的输入方法，界面内的设计通过集中向用户提供文字和听觉提示来验证这一点。
连贯的视觉模型已经被开发出来，并被部署在大多数设备中。然而，案例分析显示，VUI不应该遵循一个解决方案适用于所有人的方法。交互式远程视频中的情境感知VUI和对话界面可以利用更大的屏幕和与遥控器的多模态交互，采用不同的视觉输出。在未来，可以通过将语音交互从使用几个命令进一步扩展到寻求主动解决方案来提供更个性化的体验，利用情境和用户数据的优势，该主动解决方案应该作为一种服务持续地工作，以帮助用户满足他的个人需求。用户体验设计师将面临着重要的挑战，他们需要在互动电视中设计出视觉和听觉符号与隐私、背景和内容的平衡结合的作品。
本文分析并关注了互动电视中的VUIs中比较常见的方法和独特的视觉元素和互动。然而，进一步的研究已经朝着确定什么正在成为标准、基于行业应用的交互模式和模型的指导方针的方向发展。之后，这项研究将支持一个行业和学术研发项目的初步阶段，该项目旨在为广播公司的机顶盒开发自然语言理解(NLU)解决方案的界面。
扩展阅读
（获取此书 中英文版本，可点击文末 「在看」 并联系客服老师领取）
ABOUT US
参考文章：
《A Review of Voice User Interfaces for Interactive TV》
作者：Sílvia Fernandes；Pedro Almeida；Jorge Ferraz Abreu；Rita Santos
译者：菌菌
为尊重版权和译者
转载请联系我们