!Image
尽管近年来人工智能取得了巨大进步，但人工智能和机器人在很多方面仍然很笨拙，尤其是在解决新问题或在陌生环境中导航时。他们缺乏人类的能力（甚至在幼儿身上也有的能力），去了解世界是如何运转的，并将这些常识应用到新的情况中。
提高人工智能技能的一个有前景的方法是扩展它的感官，目前，拥有计算机视觉或音频识别功能的人工智能可以感知事物，但不能使用自然语言算法“谈论”它所看到和听到的东西。但如果你将这些能力整合到一个AI系统中呢？这些系统能开始获得类似人类的智能吗？一个能看、能感觉、能听、能交流的机器人能成为一个更高效的人类助手吗？从长远来看，多模态的突破可能有助于克服人工智能的一些最大限制。例如，专家认为，它无法理解世界也是它容易失败或被欺骗的原因。实现更灵活的智能不仅会解锁新的人工智能应用，还会让它们更安全；筛选简历的算法不会把性别和种族等无关的特征作为能力的标志；自动驾驶汽车不会在不熟悉的环境中迷失方向，也不会在黑暗或下雪的天气中相撞。多模态系统可能会成为第一个我们可以真正信赖的人工智能。
case1
Refik Anadol的数据雕塑: 溶解的记忆
“Melting Memories”代表着当代艺术与先进技术相结合的全新可能性。通过展示这些跨学科的作品，设计师将这些难懂的记忆过程检索成数据信息。在此次展览中，Anadol的视觉创意会带领来访者畅游在记忆的世界里。
包含数据绘画，扩增数据雕塑和光投影在内，该作品首次以先进的技术和艺术的形式，为参观者呈现了人脑的运行机制。每一件作品均获得了加州大学Neuroscape Laboratory实验室最先进的技术支持，给人留下了深刻的印象。Neuroscape是一家神经系统科学研究机构，他们致力于健康及受损脑功能领域的技术创新和科学研究。Anadol从脑电图中收集人脑在认知控制下的神经机制数据，这一数据体现了脑波运动，提供了大脑在不同时间里的运作证据。这些数据的集合，为艺术家打造多维度视觉模型作品提供了有力支撑。
Anadol的装置作品不仅带来了先进科技和艺术的成果性展示，还为参观者带来了从古埃及时期到Blade Runner 2049未来世界的人类记忆研究。 此次展览的主题“溶解的记忆”， 暗指了艺术家活跃在各种开创性哲学作品相互作用关系之间的经验，以及他众多以记忆为主旨的学术研究和艺术作品。此外，该主题还进一步引起了人们对神经系统学与科学的融合这一长达数个世纪的哲学争论的关注，抛出了对人工智能不再与个体和私隐相冲突的新时代的质问。
过程
该数据收集过程使用了32频传感器Enobio和标准协议配置。在收集过程中，参与者根据指示进行一段特定的长期记忆。过程中还进行了对照记录来识别伪影，以便之后利用自适应陷波滤波和限制频率范围进行滤波。分析中，设计师聚焦在β(13-17Hz)和θ(3-7Hz)的频段上，分离与短期和长期记忆一致的激活点。之后选择在Fp1、Fp2、F7、F8、P3、P4、C3、C4、T7、T8、O1和O2的节点，这些节点也在实时模拟中驱动噪声参数。在缩放中设计师采用了Higuchi分形维数算法，并用FFT作为移动平均值。在记录会话中使用递归神经网络生成频谱输出，再将其用作视觉表示流水线的高度图。
↕️上下滑动查看更多
VVVV工作流程
将EEG数据转换为程序噪声形式是一个在技术层面和概念层面都非常具有挑战性的工作。在输入数据和在设计师映射的陈述中，你可以发现节奏与循环，但也暗示了更高的空间维度。设计团队希望能够实时和高效的完成这项任务，因此，他们将“Melting Memories”与最后一次触及FieldTrip（HLSL/VVVV的开源GPU库）的过程密切衔接。这使得设计团队可以用复合设计模式快速的迭代重复，同时打造富有美学效果的装置形态。这个方法使设计师能够真正探索一些深层次的程序功能，同时保持一种完全模式化的图形流水线。这种模块性令抽象性内容以真实和有趣的方式表达，且让这一表达变得简答和清晰，如进一步将机器学习能力与数据资源进行整合，或进化渲染技术与实体作品的雕塑性。
case2
HERMITS: 机器人有形 UI 的“机械外壳”
（此处为视频，请在原文中观看）
HERMITS- Mechanical Shells for Reconfigurable Robotic Tangible Interfaces
HERMITS项目探索了一种大大提高机器人有形接口的通用性的方法。受寄居蟹的启发，设计团队设计了一个模块化系统，用于桌面轮式机器人与被动附件模块对接，定义为“机械外壳”。不同类型的机械外壳可以独特地扩展和转换带有嵌入式机构的机器人的运动，因此，作为一个整体，系统可以通过自重构提供各种交互功能。设计团队设想这种新颖的交互架构能带来更广阔的应用空间，例如物理空间组织、数字数据实体化、娱乐和讲故事系统。
HERMITS的一般方法扩展了我们日常生活中的物理接口和计算机如何适应和重新配置用户与被动附件的交互。我们所处的时代，机器人系统正在我们的生活空间中出现(比如机器人吸尘器、无人机)。在HERMITS中提出的想法比我们的原型具有更大的含义，在那里，日常机器人系统可以通过切换机械外壳获得大量的功能、表现力和交互性。
图片来源：Ken Nakagaki
机械外壳概念
设计团队将“机械外壳”定义为“可自动连接或分离的现有驱动有形界面的外部被动附件”。如下图所示，外壳是一个附件，可以修改、转换或扩展驱动机器人有形用户界面 (TUI) 的交互功能。
图片来源：Ken Nakagaki
机械外壳设计和示例
设计团队定义了机械外壳的设计空间，这成为他们所有原型的基础。这些属性包括单模块属性（形状、运动、光线等）和多模块属性（多自由度、速度和力的聚合）。这个基础为机器人TUI提供了无数的设计机会，以获得多功能的交互性。
图片来源：Ken Nakagaki
如图，我们可以看到它现在提供的预设的可能性，比如形状的变化，发光等。这里还可以有一些motion的动作，比如上下运动，也就是说外壳里其实有一些传动的机械结构。我们还可以加入人的动作，比如让人去按一个开关。如果现在不让人参与进去的话，那么其实还没有人的主动互动产生。如果人进行了一些信息的输入，现在它就可以作为一个接口在交互的流程中存在，对于未来的应用场景来说，它可以是更加广阔的一个存在了。
如果有更多机器人一起的协同作用，如多个动力内核结构，机器人就可以完成一些上下的运动，平地的运动，旋转，甚至更多其他可能的动作。
由单个机器人模块激活的机械外壳
（此处为视频，请在原文中观看）
垂直运动和风扇外壳
（此处为视频，请在原文中观看）
车辆和交通灯外壳
由多个机器人模块激活的机械外壳
（此处为视频，请在原文中观看）
抓手外壳和操纵杆外壳
（此处为视频，请在原文中观看）
聚合壳
HERMITS 整体系统设计
HERMITS的整体系统包括（1）机器人，（2）机械外壳，（3）交互平台，（4）控制系统的计算机，如图所示。该系统通过计算机控制机器人对接、分离和控制机械外壳，为用户提供可重构的丰富交互性。
图片来源：Ken Nakagaki
执行
HERMITS原型系统是基于一个现有的机器人玩具toio，一个两轮机器人系统。我们建立了一个基于树莓派的层次控制架构。系统由一台计算机进行中央控制，同时使用多个Raspberry Pi微控制器通过蓝牙（基于Python代码）连接和控制各个toios。
图片来源：Ken Nakagaki
主动对接机制
为了实现主动对接，设计团队修改了 toio 硬件，增加了一个由微线性伺服电机启用的额外垂直移动引脚。该突起被设计成对接到机械外壳的槽，以实现坚固的连接和运动传输。
（此处为视频，请在原文中观看）
对接机制
应用
设计团队演示了包括物理空间重新配置(例如桌面组织)、动画故事讲述和有形移动模拟的应用程序。我们探索如何利用机械外壳的动态可重构性，以丰富物理环境和数字信息的交互。
图片来源：Ken Nakagaki
⭐️ 解读
这里的每一个硬件都是建模，3D打印出来的。大家可以看到中间的场景其实有点像一个游戏，它已经可以把这样的一个模式运用到交互叙事的领域中，例如图中那个类似的公主的形象。也许我们还可以用来驱动别的角色，让大家在玩桌游或者下棋的时候都可以用这样的智能棋子或者智能棋盘。这也是一个很广阔的应用领域。
下一步
基于机械外壳的概念，设计团队对未来的工作进行了展望：包括一系列的机器人有形界面，机械外壳的快速制造，交互舞台的设计来调节“后台”的重新配置，以及自动化对接和闭环触觉控制的高级控制。
图片来源：Ken Nakagaki
⭐️ 解读
在未来的场景下，这样的核心技术或者设计思路还可以用在怎样的领域？可能应用在各种不同的形态的机器人当中，比如无人机，机器蛇，次足机器人或者是多足机器人，都可以用在不同的这样的一些载体中。
我们还可以改变它的大小，现在这个机器人比我们的手还小，可以放在桌面上。如果把它做大了，它就可以是一个在地上跑的东西了。除了大小，我们也可以改变数量让它变成一个更加庞大集群的一个机器人。还有机器外壳是不是可以设计得更加有趣和多样？是不是可以进行更精致的机械设计？可不可以把它用在一个交互式的舞台当中？我们可以做怎样的人的能力的延伸？我们对于它的控制和应用是否可以更加的全面？是否可以加入投影？是否可以应用增强现实和虚拟现实，或者有更多的实体交互的输入？我们需不需要在里面加入一些用户评估？这些都是在未来可以展望的东西。
这个项目最终也写成了论文，发表在了很多比较顶级的国际会议上，也得到了非常好的成绩。他的文章现在没有用户评估，因为他完全是设想和探索，就已经非常的充实了，如果要把它做到产品化，真的要做到给人使用的话，就一定要加入用户评估。
case3
Proxemics Beyond Proximity：通过跨设备交互设计灵活的社交互动
（此处为视频，请在原文中观看）
跨设备交互支持人们在同一地点的协作中临时共享内容和控制。跨设备研究通常借鉴空间关系学理论，基于人与设备之间的距离和方向等空间关系的检测来设计交互。然而，人-人或人-设备邻近性的检测也限制了同一地点社交互动的灵活性。我们希望使用一种基于空间关系学的方法来设计灵活的跨设备交互。通过实地研究观察，研究团队阐明了移动设备和物理环境之间的相互作用是如何影响共同定位的共享活动的。基于这些洞察，研究团队提出了三个跨设备的原型作为概念验证，展示了考虑超越邻近性的近距离的三种设计敏感性；结合环境特点，在人际距离和方向上实现灵活性，并提供多种可选的行动可能性。
⭐️ 解读
这个研究跟交互比较相关，主要主题就是跨设备的交互。他做的其实结合环境的固定或者是半固定的特性。什么叫固定环境？比如现在有一个板子钉在墙上，我就有一面墙，我们墙上贴着纸，我们现在在看墙上贴的纸，这个场景比较偏向于固定，因为你不能把墙搬走。半固定又是什么？比如现在有一个可移动的桌子，或者是高度可升降的桌子，人们可以在这些场景中进行一些移动，这些属于半固定的环境。
这个文章主要是区分了这两种环境去做这样的一个研究，他认为我们这样的跨设备的交互是不是可以增强人际的距离和方向的灵活性。如果我们是基于传感器进行交互，那么传感器在交互中的位置是怎样的？那么我们是不是可以有多种这样替代性的行为去支持我们跨设备的交互，是不是也能够实现不同的功能？这是它主要探究的内容。
这个文章也可以带给我们的启发。比如，我们可以去探索不同的信息反馈的媒介和介质。现在我们知道的有纸质的，有数字产品，有投影，是否可以还有一些其他的？我们是否可以加入声音反馈？我们能不能让信息的反馈变得更加的迅速以方便人们之间的信息传输和沟通？这是文章主要探索的。
那么他用了什么方法呢？主要是分了三个场景去研究。
这三个场景分别是人站在一个固定的场景前一起去传达信息。一些人可能围在一个半固定的环境中交流；还有一些人可能是面对面，可能在没有办法看到别人的手机或者屏幕的这种场景下。也许这个场景里面还有一些别的媒介，这种情况下，我们怎么去进行信息传输？
这些人设想的是用敲桌子的方式来传输信息。比如我们的手机现在都放在桌上，这是一个很自然的场景，比如一群人在开会，手机会很自然的放在桌面上，可能还会有笔记本电脑。而他做的就是用敲桌子去作为触发信息传输的一个接口，我一敲桌子信息就要传过去。要实现的话这里用的是电子陀螺仪还有QR Code等技术，他依据的这些媒介也是现有的设备，所以其实就是在现有的设备的技术上做一些开发，这部分主要的就是程序上的工作了。
他还做了另外一个场景：我在墙上贴的一张纸上看到了一个信息，我现在拍了一张照片，如果我现在想把这张照片传给别人，我可能要打开微信发给这个人，或者是直接拿手机给他看。他当时设计的一个方式是，假如给每一个人的笔记本电脑背后贴一个sticker，这个sticker也许是类似二维码的一个东西，我扫了你电脑上的sticker，我的信息就可以传输到你的电脑上，你就可以在电脑上看见这个信息。这个是一个跨设备的交互的方式。
然后在多种空间中或者是用多种媒介去传达信息的时候，我们还可以这么做。比如，我们去扫描这种标识性的东西，或者我们每一个人都在看同样一个东西的时候，我们能不能用一种投影的方式，或者是我们分享信息的时候，能不能重新改变我们的标签的大小，让传输变得更加的快捷，这是他这个文章里面主要探索的一些方式。整个文章也用了很长的时间去验证这个东西的合理性、可行性，也完全是交互方式的一个创新。
我们看的时候除了看文章的内容以外，我们也可以看一看写文章的人所在的机构和他的国家。我们可以看到这个其实是微软研究院Microsoft research、Cambridge在英国的一个研究机构，跟学校一起合作的的一个项目。也许现在我们可能就去看一看这个学校，或者看一看这些人还做了什么，如果你对于他的领域感兴趣的话，可以看一看研究机构还研究了什么，这些都是获取信息的一些方式，我觉得都比较好用。看了之后你依然是需要给这个东西划分标签的，方便你整理所有你积累的案例。
case4
Isness：使用多人VR来设计与致幻剂相媲美的神秘体验
将心理治疗与致幻剂（PsiDs）相结合的研究已经证明了能够取得积极的结果，这些结果通常与psid诱导“神秘型”体验（MTEs）的能力有关——即主观体验，其特征包括连通性、超越性和不可言说性。研究者认为PsiDs和虚拟现实都可以应用于更广泛的致幻技术。为了验证这一假设，他们使用了来自PsiD研究的概念、方法和分析策略来设计和评估“Isness”，这是一个多人的虚拟现实旅程，参与者在其中体验身体的集体出现、波动和消散。一项研究（N=57）分析了参与者对常用的PsiD体验问卷（MEQ30）的反应，表明Isness的参与者在服用大剂量致幻剂和LSD后的MTEs与双盲临床研究报告的MTEs相当。在一个支持性的环境和概念框架内，虚拟现实现象学可以为MET创造条件，参与者从中获得洞察力和意义。
⭐️ 解读
这是CHI 2020（人机交互的一个顶会）中的一篇最佳论文，做的是感知觉的研究，其灵感来自于《知觉之门》。他主要做的事情是想验证多人VR体验可以与致幻剂的效果相匹配。
致幻剂是服用后会出现幻觉的一种药品，研究想证明的就是多人一起进行VR体验可以达到这种效果，会有这样的感知觉。它完全是一个感知觉领域的一个研究，在这个领域里面它可以给我们带来一些启发，比如信息给人的反馈的媒介可以是怎样的，可以有怎样的延伸。而且它的实验很严谨，大家感兴趣的话可以看一下这些文章。
case5
Micbot：塑造发言动态和团队表现的机器人
我们面临的许多问题都是在小团体中解决的。通过数十年的心理学研究，人力资源研究所的研究正越来越多地试图了解机器人如何影响这些小群体的动态和结果。目前的研究几乎都只使用了人形机器人，这些机器人承担起积极参与群体活动的角色，影响人际动态。但研究团队认为这存在着局限性，并提出了使用外部机器人的替代设计方法。本文介绍了Micbot——一个外部机器人，它的目的是促进参与者参与并最终使用非语言内隐交互行为。该机器人在36个三人组（N=108）的实验室实验中进行了3种条件（无运动、接触行为、随机运动）的评估。结果表明，该机器人不仅能有效地促进群体参与度，而且还能提高问题解决能力。
⭐️ 解读
这个跟机器人相关的研究的主要目的是鼓励协作，主角是一个麦克风形状的机器人。
麦克风的作用是什么呢？比如一群人在开会，麦克风想达到的目的就是在多人谈话的场景下鼓励那些不爱发言的人进行发言，并且有效的减少那些总是发言的人的频率。这个麦克风有一个轴，它会适当的把麦转向那些他认为现在需要发言的人，其主要运动方式就是通过行为的跟随和行为的鼓励。它有一个摄像头，摄像头会记录大家的交谈行为，然后把行为的数据信息传达给麦克风，麦克风就会转动，去达到鼓励那些不爱发言的人去发言的目的。
它其实也有一些难点，例如，行为的检测是不是准确的？麦克风或者是程序的判断是不是准确的？不爱发言的人他就是没话可说还是他不敢说还是其他因素？这种行为的判断其实是一个难点。
另外，这是一个单机器人与多人的交互场景的研究，这里面有非常多的因素需要去考虑，并且要探究非常多的心理学因素，在这个研究中心理学就是一个强大的支撑。
比如这个叫backchannel的心理学效应，即当一个参与者正在讲话，另一个参与者插话这种打断或者插话这种行为其实是非常自然的，是人在聊天中会发生的行为，这个项目用机器人这样的一个方式去改善或者提升这个行为的体验，它在交互方向上做的尝试也是挺有意思的。
case6
Tangible Swarm: see the unseen
Tangible Swarm是一个在机器人系统（如多机器人、机器人群组等）实际执行任务时实时显示相关信息的工具。机器人的id、传感器输入、机器人轨迹、机器人之间的距离、电池状态、通信模式等信息可以方便地显示和定制，方便适应不同的任务和场景。
（此处为视频，请在原文中观看）
从最后一英里运输到移动网络，集群和多机器人系统有可能给许多行业带来革命性的变化。然而，调试这些系统，特别是涉及到大量机器人的情况下，这仍然是一项极其复杂的任务。为了更好地理解这些系统的行为，研究团队构建了一个可视化工具，能够实时收集机器人的相关信息，并将这些信息显示在机器人的物理工作空间。
Tangible Swarm基于这样一种理念，即在作为传感部分（如执行标签跟踪、模式识别等）的摄像机、作为计算元素的模拟器和实现驱动组件的投影仪之间构建一个闭环控制。该工具可以有广泛的使用范围，从新颖的机器人艺术装置到不断变化的城市场景。
图一是为实验而建的场地的鸟瞰图。这块场地是一块2.5 x 2.5平方米的长方形区域，由四块木板隔开，木板用热熔胶粘在一起。
图一 | 图片来源：Eduardo Castello
图二是传感模块的布置示意图。执行对机器人和致动部件的跟踪任务的相机；投影仪显示场地上的信息。
图二 | 图片来源：Eduardo Castello
图三显示了在这些实验过程中发生的信息工作流。首先，每个机器人（e-puck）都有一个标签，这个标签对系统中使用的特定机器人ID进行编码。其次，标签是由一个基于视觉的跟踪系统来识别的，这个系统使用的是一个位于场地正上方的摄像机。第三，计算每个标签相对于场地左下角的（x,y,z）坐标，并发送到一个ROS多主网络，在这个网络中，机器人以分散的方式连接。机器人将诸如电池电量、邻近ID、传感器输入等信息发布到这个网络中。然后，从网络中提取信息并发送到基于agent的仿真软件Gama。有了这些信息，Gama能够创建一个虚拟场地的当前状态的表示，并通过使用一个投影仪投影到场地上。
图三 | 图片来源：Eduardo Castello
最后，图四是实验的一个演示图片，在这个实验中，场地上丰富虚拟表示（例如，彩色格子，机器人之间的通信模式，机器人的内部变量等）实时投影到场地和机器人上。
图四 | 图片来源：Eduardo Castello
最后的话
案例、论文素材的积累对我们来说是非常有必要的，一些新颖想法的产生是需要经过大量的调研或积累大量的案例的，这样我们才可以打开一个通往新世界的大门。
在收集案例的时候，我们要自己的思考，要思考为什么要收集这个案例，它对于你的思维灵感或其他方面有没有帮助。
在看论文的时候，大家不用太有压力，从设计的角度来讲，我们主要看的就是它的交互方式是怎么被设定的，甚至是其中的一些实验的方式，也可以给我们一些参考。
我们首先一定是看摘要的，看摘要后如果你觉得这个摘要对于你来讲有帮助，就可以继续去看全文。在看全文的过程中，我们需要收集一些信息，帮助以后回顾文章：
- 这篇文章哪些点比较好？
- 它为什么能够被选为学术界大家都可以参考的文章？
- 它用了什么技术？
- 它的创新点在哪里？它具体是怎么创新的？
- 在整个文章中你可以得到怎样的启发？
最后你还需要对你收集的素材进行知识的消化梳理以及标签分类，这对于你日后的回顾其实也是比较有帮助的。
另外，还有一个小tip：大家在搜文章的时候如果觉得每次搜关键词出来的结果都很让人迷惑，你可以尝试用双引号框住关键词。因为搜索默认的是提取关键词，如果不用两个引号把这个词引在一起，搜索会按照单独的词汇去搜索。如果用双引号框住，所输入的关键词就会在一起出现。