你以为AR/VR还停留在头盔和手柄？如今的交互设计早已突破屏幕界限，走进了你的皮肤、画布、社交网络甚至物理空间。在刚刚落幕的人机交互顶会UIST 2025上，研究者们不再满足于“让界面更好用”，而是开始重新定义什么是“交互”本身——他们让温度在手臂上流动、让水杯开口说话、让机器人从现实中“消失”……
这些看似魔法的体验背后，其实是一系列精密的算法、新型硬件与感知模型的深度结合。我们精选了本届UIST中最具想象力的五个系统：它们中有的用极简硬件制造出复杂的热流错觉，有的让日常物品拥有“人格”，有的把绘画教学变成一场结构化的视觉对话，有的重新发明了社交应用的构建方式，甚至还有系统让你在混合现实中“隔空取物”而不被发现。这些系统不只是技术原型，它们共同指向一个更人性化、更情感化、也更自由的交互未来。
PART0
UIST会议介绍
ACM 用户界面软件与技术研讨会（UIST） 全称 ACM Symposium on User Interface Software and Technology，是人机交互与界面创新领域的顶级国际会议之一。该会议由 ACM 人机交互特别兴趣小组（SIGCHI）与计算机图形学特别兴趣小组（SIGGRAPH）联合主办。UIST 聚焦于创新用户界面技术的研究与应用，汇聚来自全球的学者、设计师与工程师，探讨从图形与 Web 界面、虚拟与增强现实、实体与普适计算，到新型输入输出设备与以人为本的人工智能等前沿主题。
UIST 以“小而精”的会议规模和高密度的学术交流著称，为展示前沿研究成果与思想碰撞提供了理想平台。会议内容涵盖了人机交互系统设计、界面工具开发、交互技术实验研究等多个方向，是计算机图形与交互设计领域的重要学术阵地。作为 ACM 体系下的旗舰会议之一，UIST 以其高质量论文与创新性成果，持续推动着交互技术与界面设计的前沿发展。
PART1
CASE1
HeatFlow：用于动态二维热流的热触觉显示
对沉浸式交互与多感官体验的创新贡献
论文简介
HeatFlow 是一款能在二维表面上生成动态热流的热触觉显示装置。该系统通过整合热反馈与触觉反馈，以极少的硬件实现连续、可感知的温度移动幻觉。其核心机制利用振动诱导的热转移（thermal referral） 与 表观触觉运动（apparent tactile motion）原理，使用户在皮肤上感受到热或冷沿任意轨迹流动的感觉。
HeatFlow 的原型包含一个单一热致动器与一个 3×3 的振动致动器阵列，通过新算法实现热与触觉的时空协调，从而在不增加硬件复杂度的前提下呈现流畅的温度变化。研究团队还开发了交互式 HeatFlow Design Tool，允许用户设计自定义热流路径，调整速度、强度与温度，并与音视频内容同步。
（此处为视频，请在原文中观看）
创新知识点与设计启发
1. 热触觉结合的二维动态温度幻觉
HeatFlow 的最大创新在于将单一热源与九个触觉致动器结合，通过控制算法制造出“热在皮肤上流动”的错觉。这种基于感知的计算模型克服了传统热反馈系统硬件密集、延迟高的缺陷，实现了 曲线、旋转、分叉等复杂热流轨迹 的再现。研究发现，当热与触觉信号精确协调时，用户能感知连续的温度移动，仿佛热量沿皮肤滑动或旋转，显著增强了交互的沉浸感。
图展示了 HeatFlow 算法的概念步骤，包括选择幻影点、设置触觉致动器的目标强度、检测强度冲突，并通过平均方法解决这些冲突
2. 感知参数与交互设计优化
研究团队通过用户实验确定了二维热流感知的最佳参数： 致动器间距为 3 cm、流速为 50 mm/s、热刺激为 +9°C 时，用户能获得最连续、最逼真的热流体验。当距离过近时，触觉信号重叠产生“模糊振动”；过远则导致“断续感”。实验还发现热刺激比冷刺激更易形成连贯感知，表明温度方向和速度的微调对体验连续性至关重要。
图展示了16名参与者对于（a）温度，（b）流速和（c）互作用器距离的平均连续性评分，结果表明最具说服力的2D热流感知出现在3厘米网格间距、50毫米/秒流速和高温条件下，误差条表示均值的标准
3. VR 场景中的多感官整合
在 VR 实验中，HeatFlow 被应用于前臂、手掌与面部的六个沉浸式情境。结果显示，加入热反馈的条件下，参与者在沉浸感、愉悦度与满意度上的平均得分均显著高于仅有触觉反馈的情境（如平均提升约 2 分以上）。热触觉反馈被认为使体验更“真实”“富有情感”，例如冷感被描述为“风的流动”，热感则被联想到“能量”或“火焰”。
这张图展示了六个VR场景及其对应的热流渲染效果，分别为（a）纹身店、（b）画笔、（c）魔法火球、（d）科幻粒子、（e）铁匠铺和（f）暴风雪
4. 可视化创作工具与应用前景
HeatFlow Design Tool 让设计者能以绘制方式创建并实时预览热流路径，调整流速、强度、温差等参数，并与影视或游戏内容同步。这不仅扩展了热反馈的研究范畴，也让热感成为一种新的创作语言，为交互叙事、情绪疗愈、冥想体验等领域带来了新的表达可能。
PART2
CASE2
基于可穿戴AI与拟人化交互的Talking Spell系统：
对用户体验、情感连接与实用性的影响
论文简介
《Talking Spell》提出了一种创新的可穿戴系统，旨在通过实时语音交互赋予日常物品拟人化的“生命”。该系统由两个核心硬件组件构成：“scope”（视觉模块，用于物体检测）和“wand”（交互模块，用于触发对话），结合计算机视觉（如YOLOv11）、大语言模型（如QWEN-VL）以及语音识别与合成技术，实现了用户与物品之间的直接语音交流。
系统设计了三个渐进式的情感连接阶段：相识（Acquaintance，检测并生成物品的拟人角色）、熟悉（Familiarization，再次识别物品并调用其角色）和绑定（Bonding，通过持续对话建立情感联系）。通过一项包含12名参与者的用户研究，论文验证了系统在娱乐、创意、陪伴和实用四种交互意图下的有效性。研究结果表明，Talking Spell不仅能增强用户与物品之间的情感连接，还拓展了人机交互的设计可能性。
（此处为视频，请在原文中观看）
创新知识点与设计启发
1. 以用户为中心的人-物交互三阶段模型
Talking Spell提出了一套完整的交互流程，用于构建用户与物品之间的拟人化关系。这一流程模拟了人与人之间建立友谊的过程：初次见面时生成角色印象，再次相遇时识别并调用角色，通过持续对话深化情感连接。该设计不仅解决了传统虚拟助手缺乏情境感知与情感深度的问题，还将AI交互从“工具性”提升至“关系性”。
图展示了 Talk Spell 的熟悉化工作流程，虚线部分表示与熟悉化阶段的连接
2. 可穿戴硬件与便携式交互设计
系统将硬件分为“scope”与“wand”两个独立模块，并强调其便携性与穿戴适应性。scope采用小型摄像头模块（如OV2640），可集成于眼镜、头链等日常配饰中；wand则整合触摸传感器与振动马达，支持耳环、项链、挂饰等多种佩戴形式。这种设计使用户在不干扰日常生活的前提下，实现与环境中任意物品的实时交互。
图展示了设备组件的排列与结构
3. 多意图交互场景下的情感化应用
Talking Spell突破了传统AI助手单一功能局限，支持娱乐、创意、陪伴与实用四种交互意图。例如：用户可与杯子玩文字游戏（娱乐）、与绘图板共同创作（创意）、与玩偶深夜倾诉（陪伴）、或让植物提醒喝水（实用）。这种多样性不仅丰富了用户体验，也体现了系统在情感支持与日常辅助方面的潜力。
Talking Spell 包含四种主要的交互意图，涵盖从娱乐到实用的应用，包括娱乐、创意、陪伴和工具功能
4. 支持多对象识别与多语言交互的辐射式网络
系统构建了一个以用户为中心的辐射式交互网络，支持同时与多个物品建立独立的情感连接。每个物品拥有唯一的拟人角色与对话记忆，用户可在不同物品间无缝切换。此外，系统支持中英文双语交互，进一步拓展了其跨文化适用性。
PART3
CASE3
基于构图-明暗-色彩分解的计算支架系统ArtKrit： 对绘画流程、反思能力与专业眼光的影响
论文简介
论文提出了一种面向数字绘画学习的交互系统，旨在通过结构化反馈帮助中阶画家在临摹参考图像时提升技术能力。该系统将绘画过程分解为三个关键阶段——构图、明暗与色彩，并为每个阶段提供实时、可适应的计算引导与反馈。
ArtKrit 以 Krita 插件形式实现，其核心创新在于能够根据用户指定的目标对象（通过文字描述或画布框选）动态生成构图辅助线，并结合明暗模糊预览、色彩隔离观察等视觉引导，以及基于图像比较的数值与语言反馈。通过一项包含5名中阶画家和2名专业美术教育者的初步评估，研究显示 ArtKrit 不仅能灵活适配不同用户的绘画流程，还能促进他们在创作过程中进行“行动中反思”，从而深化对绘画结构和表现方式的理解。
（此处为视频，请在原文中观看）
创新知识点与设计启发
1. 三段式绘画支架模型：构图-明暗-色彩
ArtKrit 首次将西方传统绘画教学中的经典三段式学习流程——构图（空间布局）、明暗（光影关系）、色彩（色调与饱和度）——系统性地引入数字绘画工具中。该设计不仅帮助画家有步骤地解构参考图像，也通过阶段分离促使他们集中注意力于特定视觉维度，从而发展“专业眼光”。
ArtKrit工具将数字绘图过程分为构图、明暗和色彩三步，通过提供构图线条和明暗色差的可视化反馈，帮助用户复制参考图像。
2. 基于目标对象的自适应构图线生成算法
系统提出一种创新的构图线生成方法，允许用户通过文字输入（如“人物，笔记本电脑”）或直接在画布上框选来指定感兴趣的对象，进而由系统自动生成描述这些对象间空间关系的构图引导线。该算法结合了 Grounded SAM 进行目标检测与分割，并采用改进的 RANSAC 算法从多边形轮廓中拟合出最具代表性的空间结构线。
流程通过文本描述或边界框输入，利用Grounded SAM生成轮廓，并通过改进的RANSAC算法拟合构图线
3. 多模态反馈机制：视觉、数值与自然语言结合
ArtKrit 在各阶段提供多种形式的反馈：构图阶段提供简化的多边形轮廓（避免用户直接描摹），明暗与色彩阶段则提供色块对比、数值差异以及自然语言建议（如“饱和度偏低7.5%”）。这种多层级反馈既提供了客观比较依据，又以更易理解的方式引导用户进行调整。
4. 支持非线性和个性化工作流程的柔性设计
尽管系统按三阶段结构设计，但用户可自由在不同标签间切换，按自身习惯使用工具。评估中发现，用户实际使用方式多样：有人跳过了明暗阶段直接上色，有人将明暗预览用于检查已上色画面的灰度关系。系统不强制用户遵循固定流程，体现了其作为“艺术支持工具”的柔性定位。
5. 作为设计探针揭示的新洞察：色彩的空间属性与“脆弱”支架的价值
用户研究中有意外发现：色彩支架最受好评的并非其调色准确性，而是其“色彩隔离”功能帮助用户识别出同一色彩在画面中跨越不同物体的空间分布。此外，系统提供的“粗糙”反馈（如简化的多边形轮廓）因其不完美，反而避免了用户过度依赖，促使他们主动反思与决策，体现了“脆弱”支架在促进创造性思维中的价值。
PART4
CASE4
Graffiti：构建个性化与可互操作社交应用生态系统
论文简介
当前大多数社交应用，从Twitter到Wikipedia，都采用僵化的“一刀切”设计。构建新的社交应用不仅技术挑战大，还容易导致新应用与现有社区相互隔离。本文提出了 Graffiti 系统，可用于相对轻松地构建多种个性化社交应用，并实现应用间的互操作性。用户可以自由地在不同设计之间切换——每种设计都有其独特的美学、功能集和审核机制——而不会丢失好友或数据。
Graffiti 通过 完全具体化（total reification） 使看似矛盾的设计（包括相互冲突的审核规则）能够互操作。同时，通过 频道（channels） 机制，系统可避免意外的互操作，防止“上下文崩溃”现象。Graffiti 应用通过一个极简的 客户端 API 进行交互，该 API 至少支持两种去中心化实现。在 API 之上，我们构建了一个 Vue 插件，仅使用客户端代码即可开发出类似 Twitter、Messenger 和 Wikipedia 的应用。案例研究探讨了这些应用及其他新型应用如何互操作，以及 Graffiti 所支持的更广泛生态系统。
创新知识点与设计启发
1. 完全具体化实现对抗性互操作
Graffiti 将所有社交互动——包括点赞、关注，甚至是审核行为如“删除”——都转化为独立且可寻址的对象，而非直接修改原始内容。这种 完全具体化 的设计，使得不同应用可以对同一社交行为做出不同解释。例如，一个应用可以选择忽略“删除”活动，继续显示被删除的内容，而另一个应用则可根据这些活动隐藏内容。这种机制保障了对抗性互操作，即新应用无需征得原有应用的同意即可与其互操作，防止任何单一实体将用户和数据捆绑在特定体验中。
2. 频道机制有效防止上下文崩溃
Graffiti 引入 频道 作为核心组织单元，所有社交对象都被发布到一个或多个频道中。频道名称是全局的字符串，但其含义由开发者和用户社群共同赋予。回复可以只发布到原帖的频道（类似Instagram的私密回复），也可以同时发布到回复者自身的频道（类似X的公开回复流）。这种设计赋予了内容发布者精确控制其“目标想象受众”的能力，从而在实现互操作的同时，有效管理不同社交场景的边界。
3. 客户端API优先与并行实现支持
Graffiti 的核心是一个简洁的 客户端API，它将复杂的服务器端逻辑隐藏在API之下，使开发者仅通过前端代码就能构建功能完整的社交应用。更重要的是，该 API 设计支持 并行实现。对象URL以不同的“方案”开头，可指向不同的底层实现。论文展示了两种去中心化实现：“远程实现”和“商品化存储实现”。这确保了系统不会被锁定在任何单一技术架构上，允许新技术的逐步采用。
用户首次触发 put() 时弹出的模态框。 询问用户希望使用哪种实现方式存储其数据。
4. 赋能社区构建个性化社交空间
Graffiti 的最终目标是降低构建个性化社交应用的门槛，使各类社区能够打造真正反映自身文化和需求的数字空间。通过提供的 Vue 插件、模式库以及未来对低代码/无代码工具的展望，Graffiti 致力于让更多非专业开发者也能参与创建和定制社交应用，从而催生一个多元且互联的社交应用生态系统。
PART5
CASE5
Reality Promises：通过隐形移动机器人
在混合现实中实现虚拟-物理解耦合幻觉
论文简介
人类不断地操控环境中的物体，然而现有的混合现实系统在实现对物理场景的无缝操控方面仍存在不足，体验往往局限于虚拟效果。本文提出了 Reality Promises 这一概念，它是一种混合现实幻觉，使用户能够以只有虚拟世界才能实现的方式操控场景，同时秘密地将这些虚拟操控的效果传播到物理现实中。通过将虚拟操控模式与物理操控模式解耦，Reality Promises 创造出一种能够瞬时操控物理场景的幻觉，例如使用魔法力量或奇幻生物。我们的系统在用户视线之外，引导一个移动机器人在动态的虚拟-物理解耦点和重耦合点之间操控物理物体，而不暴露机器人自身。
为了实现机器人的“隐形”并保持物理物体的可交互性，我们引入了机器人感知的3D高斯泼溅（3D Gaussian Splat） 光栅化、着色和动画系统。该系统在需要时，将局部空间对齐的泼溅图渲染到用户的视频透视视图中。我们还系统地推导了交互协议，以提供连贯的端到端用户体验，例如凭空生成物体，或将用户或虚拟角色诱导的虚拟力施加到物理物体上。
（此处为视频，请在原文中观看）
创新知识点与设计启发
1. 虚拟-物理解耦合与Reality Promise核心概念
论文的核心思想是将用户对物理现实的感知从当前状态“分支”到一个 承诺现实，用户可以在此以虚拟方式操控物体，同时，系统在用户不知情的情况下，将虚拟操控的 物理效果 复制到物理世界中。这种虚拟操控创建了一个 Reality Promise，该承诺只有在操控效果被完全物理复制后才算解决。为了物理履行承诺，一个隐形的移动机器人开始行动，执行物理操控——拾取物体，将其移动到承诺的位置和方向，然后再次放置——所有过程都不向用户暴露。
虚拟-物理解耦合与重耦合点 展示了虚拟蜜蜂在承诺现实中投下虚拟物体，与隐形移动机器人投下物理物体紧密同步
2. 机器人感知的3D高斯泼溅实现机器人“隐形”
为了实现机器人的视觉隐藏，论文提出了 SplatiMate 组件，它执行 实时的、无线的、设备端 的机器人感知3D高斯泼溅渲染。该系统利用机器人跟踪器提供的机器人实时位姿和关节配置信息，获取机器人在3D空间中的视觉结构控制点，并据此从整体泼溅几何中选择所需的泼溅子集来隐藏机器人。通过专用的立体顶点和片段着色器流水线，将泼溅图连贯地渲染到透视视频上，并在机器人邻近区域之外与物理场景平滑融合。
SplatiMate 的机器人感知锥体投射 用于找到需要渲染以覆盖视野中机器人的所有泼溅图。(a) 侧视图显示从左眼向机器人投射锥体。(b) 从略高于头显左眼显示器的用户对齐视图，沿中心轴显示锥体。(c) 俯视图显示当机器人移动时，锥体如何自动跟踪。
3. 交互同步的机器人控制与事件预测
Skynet 组件为移动机械臂机器人提供了精细控制，并与虚拟交互系统紧密集成，与用户体验锁步同步。Skynet 具备完整的导航系统，能够在共享房间内导航并到达分布在场景中不同表面的逆运动学目标。其事件监控和预测系统提供了机器人当前和计划状态的高分辨率信息，为各种交互相关组件（如物体动画、角色动画或面向用户的状态通知）提供依据。这种紧密的同步对于实现可信的虚拟与物理效果同时发生至关重要。
Skynet 用于高层机器人控制的信息流 左图： Skynet 在头显上直接维护目标机器人状态表示和当前机器人状态表示，实现完整的逆运动学计算。 右图： 基于虚拟物体的可供性，Skynet 在机器人跟踪设备的闭环反馈下，规划、执行并控制合适的旋转感知路径。
4. 端到端的用户体验
基于 Reality Promise 概念，论文实现了四种不同的端到端用户体验：
- Seamless MagicMove： 用户通过指向和捏合手势，仿佛意念控物般瞬间移动远处的物理物体。物体看似凭空移动，之后用户会在目标位置找到它。
- De- and Rematerializing MagicMove： 用于召唤用户意图触摸和使用的物体。物体在原位置逐渐去物质化，同时在目标位置逐渐再物质化，并伴有预计完成时间的指示。
- Character MagicMove： 虚拟角色（如蜜蜂）可以“抓取”并移动物理物体，为用户体验增添叙事性和趣味性。
- MagicMake： 用户可以从虚拟菜单中“凭空”生成物体（如一瓶饮料），物体随后在用户面前逐渐物质化，最终成为可拿取饮用的物理实体。
三种 MagicMove 体验的交互分解 清晰展示了每种体验的用户视角、特定设计空间选择以及机器人/物体的隐藏与显现状态。
MagicMake 菜单 使得从稀薄空气中物质化物体成为可能
5. 面向MR的交互技术：RealityGoGo
为了在MR中实现远距离抓取和放置交互，论文提出了 RealityGoGo 交互技术。该技术通过 表面感知的放大 机制，允许用户轻松地将选中的物体放置到远处不同的有效表面上。它动态计算放大阈值和限制半径，根据用户伸手的方向推测目标表面，并调整放大距离，使得用户能够舒适地跨越不同距离进行操作，同时避免了在透视视图上渲染虚拟手臂带来的视觉干扰。
联系我们
微信：zhaojundesign2