01
为什么我们需要一个比MR、AR、VR的更好的交互方式？
混合现实 (MR) 和增强现实（AR）设备是 PC 和智能手机的未来，它们将在不久的将来改变人与人之间联系的方式。
如果您曾经尝试过使用任何 AR 设备（如Microsoft Hololens、Magic Leap、Daqri，甚至是手持式 AR 应用程序），您首先想到的会是“ 如何与 AR 虚拟对象进行交互呢？”。
AR 设备引入了不同的交互方法（例如，控制器或手势），但是根据我之前的使用经验，这些交互方法 功能有限，无法提供完全顺畅的体验。
如今，我们拥有出色的 XR 设备，分辨率高，延迟少，图像质量也非常高。 但 人机交互 (HCI) 还是处于较差的状态。因为我不认为 Xbox 控制器或运动跟踪控制器是XR交互的最佳方式—— 我们迫切需要一种更好的交互方式。
02
Facebook带来的手腕交互
Facebook 内的一个研究实验室正在研究增强现实技术，这将使我们与计算机的交互毫不费力。Facebook Reality Lab 正专注研发一款腕带，它可以捕捉你的大脑信号，并借此让你与增强现实系统进行交互。
这种类型的腕带将与 肌电图（EMG） 一起使用，它能够使用 传感器 来转换人体的 运动神经电信号，这些信号可以将手的动作转换为数字命令。例如，如果你想移动你的手，你可以在键盘上键入此命令，或者你下一个按钮来让腕带捕捉到你想用你的手做什么的信号，然后它会把这些 数据转换，来让您与虚拟键盘或通过按钮进行交互。
03
手腕交互的形式与原理
它只是一个机器
Facebook 表示，如果你认为这个腕带可以读懂你的想法，那么你就错了——因为它 只是一台机器，它永远不会知道你在想什么。
你有很多想法，你选择只对其中一些采取行动。当这种情况发生时，你的大脑会向你的手和手指发送信号，告诉它们以特定的方式移动，以便执行打字和滑动等操作。而这是在手腕上解码这些信号——是这些你 已经决定执行 的动作——并将它们转换成你设备的数字命令。
所以当您决定采取任何行动时，他会以一种 解码你即将要做的事情的方式 来工作。
更自然的交互方式——带来巨大的改变
Facebook 试图使用自然的交互语言，通过神经外围系统的输出，来让人们对机器的控制更加直观。这些大脑的外围神经可以激活手指和手部的肌肉。
Facebook Reality Labs (FRL) 的负责人说：“我正在研究类似的东西，我在意大利理工学院看到了一个系统原型，该原型可以让我通过伸展和收缩手部肌肉来控制机械臂。”
FRL 还在其博客文章中展示了一段视频，其中展示了这项技术在未来推出时在现实生活中的样子。该视频看起来就 像来自科幻电影 一样。视频中一个女性正在使用腕带将虚拟的箭从虚拟的弩中射出，并射中虚拟的目标。这些腕带一开始将通过简单的控制启动，比如点击一个虚拟按钮。
因为该公司即使还没有推出其 AR 眼镜，但他们知道AR眼镜的工作原理。您可以控制虚拟对象，并且能够与虚拟用户界面进行交互。这可能会改变人们与计算机交互的方式。
腕带的交互原型
Facebook Reality Labs发布了一篇博客文章，详细介绍了其在腕带原型方面的工作。
最简单的是，这些手环可以追踪Facebook上的基本手势，比如通过点击播出电话，这些手势应该 是可靠且易于执行的。它们有点像多功能的Microsoft Hololens空气轻触手势，但是是通过手臂上的神经信号来跟踪的，而不是安装在耳机上的视觉传感器。
不过，理论上这些原型可以做得更多。
例如，它们可以跟踪你打字时大脑发送到手指的神经信号，这样你就可以在没有物理按钮的虚拟键盘上打字。与普通键盘不同的是，手环可以慢慢 适应 你的打字方式——所以当你打错字时，它们可以“学习”你的手指移动方式，然后自动根据你的习惯进行调整，并捕捉你可能想要输入的内容。
对于大多数人来说，这将是与计算机交互方式的巨大变化， 但从概念上讲，这实际上并不是CTRL-Labs多年前所称的重大更新。
事实上，EMG 腕带的终极可能性比较难以理解：最终，您可以通过考虑移动双手而不是实际移动腕带来执行 相同 的打字式手势。Facebook 希望通过依赖人工智能和增强现实眼镜来进一步简化用户交互。
即使在它们更简单的迭代中，这些控制器也会 提供一个你可以一直佩戴的界面，而不是像当前的 Oculus Touch VR 控制器那样在拿起或者握住的时候才会出现界面。这种效果可能类似于像 Mudra Band 这样的小型初创公司产品，它通过 Apple Watch 表带感知手势，弹出界面。
一个主要的 新增功能是触觉。Facebook 表示，它一直在测试各种原型来用不同的方法为用户提供微妙的反馈。一种是“Bellowband”，即每个手腕周围有八个气动波纹管。这些可以以产生不同充气或放气模式的感觉。
_Bellowband 是一种气动腕带，可以在手腕周围的八个位置传递局部压力和振动。该设备由热塑性聚氨酯 (TPU) 制成，从而形成了一个轻量级腕带，能够为用户提供复杂的压力和振动。_
另一款基于 Facebook 手腕的设备是Tasbi（触觉和挤压手镯接口），一种多感官触觉手镯，它结合了两种触觉模式：振动和挤压。该界面旨在使用肌电图 (EMG)，这是一种电诊断医学技术，用于评估和记录骨骼肌产生的电活动。Facebook 手腕设备中的 EMG 使用传感器将通过手腕传递到手的电机神经信号转换为数字命令，您可以使用这些命令来控制设备的功能。这些信号让用户可以向用户的设备传达清晰的一位命令，这是一种高度个性化的控制程度，可适应多种情况。
_Tasbi 支持与虚拟世界的各种交互。振动触觉反馈可以代替指尖与虚拟按钮或其他类型的用户界面的接触，而挤压可以传达与操纵虚拟对象相关的重量或刚度。挤压和振动可以进一步增加远程呈现和远程社交互动，例如握手或握持，还可以为游戏和训练提供身临其境的反馈。_虽然Facebook坚称这 并非“读心术”，但CTRL-Labs 仍然将这项技术描述为脑机接口。可是它与 Elon Musk 的 Neuralink 等技术差别还是非常大的——后者通过 植入物 直接从大脑读取神经活动。这一举措可以针对于瘫痪或截肢的这种身体本无法将神经信号发送到腕带的用户。
通过手腕发出的信号非常清晰，EMG 可以理解仅一毫米的手指运动。这意味着输入可以毫不费力。最终，甚至可以仅感知移动手指的“意图”。
最初，EMG 将只提供一两个部分的控制“点击”，这相当于点击一个按钮。这些是基于运动的手势，例如拇指和食指的挤压和释放，无论您身在何处或在做什么（走路、说话或双手放在身体两侧，在前面你，或在你的口袋里）。你可以用手指一起点击点击，而不需要唤醒词，这将使它成为第一个无处不在的 AR 交互。
但这仅仅是开始。EMG 最终将发展到更丰富的控制。在下图所见，在 AR/VR 中，用户将能够实际触摸和移动虚拟 UI 和对象。
但 Facebook 首席执行官马克·扎克伯格批评植入物是一种短期消费技术，称“我们认为人们 不会为了使用虚拟或增强现实而想要打开脑袋。” 腕带也没有与类似于从源头读取用户的想法的隐私恐惧因素。
也就是说，这些产品肯定会收集大量数据。这可能包括打字模式的非常细微的变化；身体紧张的总体水平；以及由健身追踪传感器、增强现实眼镜和其他可与腕带集成的技术捕获的任何 生物特征信息。（Facebook Reality Labs 指出，它有一个“ 神经伦理学计划”，研究 AR 和神经接口技术对隐私、安全和安全的影响。）
与大多数可穿戴技术一样，EMG 手环可以近距离观察我们的身体是如何运作的——虽然它不像读取你想法的手环那么令人毛骨悚然，但 在可信程度上 依然有很长一段路要走。
04
AR交互和Facebook Vision
Facebook Reality Labs（FRL）的首席科学家Michael Abrash称AR交互是" 最困难，最有趣的交叉学科的问题之一"。他们正在研究的沉浸式显示改变了人类与计算机交互的方式。
这有点类似于1960年代，当时Doug Engelbart的团队发明了鼠标，为现在主导当今世界的图形用户界面（GUI）铺平了道路。一般来说，（GUI）的引入彻底改变了我们今天所知道的人机交互。如今，所有类型的XR接口都需要完全重新思考人类和计算机的交互方式，而这会改变我们与数字世界的关系。
FRL Research正在努力开发与AR眼镜交互的 更自然直观 的方式，其目的是为AR构建一个界面，不会使得用户在与设备和周围世界交互之间的动作有很大差异。
“想象一下，你可以通过它，把任何事传送到世界的任何地方，与你生命中最重要的人分享——不论他们在哪里，”
（此处为视频，请在原文中观看）
“这就是AR眼镜的承诺。 它是现实世界和虚拟世界的融合，从根本上改善了我们的日常生活，使其变得更好。”
ABOUT US
译者：糖醋排菇为尊重版权和译者转载请联系我们