在人机交互(HCI, Human-Computer Interaction)的发展历程中,界面形式不断演变:从最初的命令行,到图形化界面(GUI),再到语音、手势等自然交互方式。TUI(Tangible User Interface,触觉化用户界面)正是在这一脉络下出现的,它强调让用户通过操作真实物件来与数字系统沟通,使信息不再局限于屏幕,而是延伸到可触可感的物理世界中。
与传统 HCI 更依赖视觉和听觉不同,TUI 更加注重 身体性与直觉操作。它把虚拟数据映射到实体对象上,让用户通过抓取、旋转、拼接、捏合等动作直接产生交互。这不仅让体验更具沉浸感,也为教育、娱乐和无障碍设计提供了新的可能性。

01.
TUI介绍
在人机交互的研究中,除了熟悉的屏幕、手势和语音, TUI(Tangible User Interface,触觉化用户界面)为我们提供了另一种可能。它强调“以物件为媒介”的交互方式,让用户不仅通过视觉或听觉,更通过触觉与真实物体的操作 来完成信息交互。

MIT media lab的inFORM – Dynamic Shape Display from Tangible Media Group
不同于传统界面仅依赖屏幕,TUI往往结合投影、传感器或实体模块,把虚拟世界“搬到桌面上”。例如,麻省理工学院媒体实验室有形媒体小组的 inFORM – Dynamic Shape Display 项目,它由大量可上下移动的销钉、执行器和连杆构成,可以实时渲染三维形态,并通过桌面投影提供色彩和深度信息。用户不仅能直接用手操作这些动态针脚,还可以借助 Kinect 传感器实现远程操控,例如移动桌面上的物体或重现书本的动作。TUI不仅关注功能实现,更注重直观性、沉浸感和触觉反馈,探索数字与现实世界融合的新方式,为交互设计提供了丰富的概念与实践可能。

其发展历程从早期系统如 2002 年的 Sony Smartskin 使用电容传感,而 2008 年的 Microsoft Surface 则依靠投影与摄像头识别物体。随着技术演进,逐渐过渡到基于 LCD 的投影电容触控,使无需摄像头也能实现识别。Ideum 在 2014 年推出 “Dynamic Desktop” 实验,并开发 Tangible Engine 软件,使触控桌面可以通过导电图案识别物体,从而推动了这一领域的应用。

其应用领域在博物馆和公共空间中,长期强调动手交互的重要性,研究表明主动探索与实践能促进更深入的思考、社交互动以及学习与记忆。触控桌面的 TUI 为二维数字内容提供了物理接口,使体验更直观,并让观众以互动的方式对待信息,而不仅仅是被动接收。实体物体不仅可以是真实物件(如医疗设备),也可以是象征性的标志或器物,从而在数字展示中增加上下文和意义,增强用户的参与感与理解力。

其中,基于触控桌面的 TUI 交互分为两大类:一类是 Object-follow(物体跟随),数字内容会随着实体物体在桌面上的移动而呈现,例如咖啡或啤酒品鉴时,杯子或杯垫对应的产地与风味信息会随之显示;另一类是 Object-activation(物体激活),物体放置在特定区域即可触发内容呈现,常用于品牌展示、工业流程演示、医疗器械介绍等场景。除了这些应用,早期的 “Slap Widgets” 项目也展示了通过旋钮、滑块等实体部件提供直观交互的可能,如今结合 3D 打印、导电材料和新型传感器,可以创造更丰富的设计方式,为公共空间和企业展示带来更具沉浸感的体验。


02.
精选案例介绍
案例1:实体物件交互
INTERACTIVE BOOKLET
第一种是功能化的触觉不仅限于传统的按钮或控制器等交互元素。实际上,Tangible User Interface(可触摸用户界面)可以将任何物体转化为交互媒介,实现更广泛的触觉交互可能。
案例1INTERACTIVE BOOKLET是eventgrate组织的概念作品,展示互动性如何与物理和数字环境共存。研究人员带来了一本看似普通的书本。这本书本身只是纸质的,没有任何电子元件,但当它被放置在投影区域下时,就能展现出完全不同的交互效果。通过与上方投影结合,书页可以显示信息,甚至在翻动时触发新的内容。

这种方式展现了 TUI 的核心特征:把日常物件转化为交互界面。用户的翻页动作不再只是物理行为,而是成为数字系统的输入指令。借助投影,系统可以在书页表面叠加图像、文字或动画,从而实现虚拟与现实的结合。

研究中还展示了配合 RFID 控件的扩展方式。用户通过握持、旋转等动作,可以与投影画面产生对应的交互。这让书不只是阅读的媒介,而是能与其他输入组件结合,形成更丰富的互动体验。这一案例说明了 TUI 在设计中的独特价值。它不需要昂贵的硬件改造,而是通过 实体物件+投影/传感器 的结合,把最常见的物品赋予新的功能。从 HCI 的角度看,这种做法突破了屏幕操作的局限,让用户通过自然动作完成信息获取与互动,更加直观和具身化。
案例2:低成本的模块化交互设计
RFIBricks: Interactive Building Blocks Based on RFID
第二种是通过 RFID 技术,可实现基于物体位置的交互控制。用户可以通过握持、旋转或操作控件来触发一系列交互动作。这种形式在展览、展示和互动场景 中具有较高的实用性和趣味性。在设计过程中,TUI 不仅局限于屏幕或投影,还可以结合物理硬件 形成触觉化交互体验。

该项目研究团队提出了一种基于 RFID 标签与纸质模块 的交互设计方法。具体做法是将 RFID 标签嵌入纸质小盒子中,每个模块代表一个特定的功能。通过拼接和移动这些模块,用户能够在投影画面中触发相应的效果。这种方式避免了高昂的硬件成本,仅凭简单材料就能完成复杂交互。

在实际展示中,不同的模块可以承担不同角色。例如,一个模块被设定为远程控制器,通过拼接就能实现画面中相应功能的调用;多个模块组合后,还能变成塔防类的桌面游戏。这种“积木式”的方式既直观,又带有游戏性,适合用在课堂、展览等场景中。

这类设计突出了 TUI 的一个核心特征:让数字逻辑以实体形式被拼接、操控。与传统 HCI 中通过鼠标、键盘或屏幕点击进行操作不同,TUI 通过真实物件的摆放与组合来完成输入,直观且低门槛。用户在操作过程中不仅理解系统运行方式,也参与了创造过程。通过“动手拼接”,用户把抽象的程序逻辑转化为可见、可触的行为,从而提升了理解与学习效果。
案例3:AR music kit
Yuri Suzuki设计工作室与谷歌的Data Arts团队合作开发了一款Android手机应用程序,该应用程序是用纸张制作虚拟乐器的平台。在几张纸的帮助下,AR音乐工具包将你的设备变成一个DIY乐器。当摄像头捕捉到图案序列时,设备将以实物形式播放相应的音符。当编码被相机捕捉到时,就会播放一个音符。当代码呈现给相机时,它可以播放声音。

例如,将卡片排列成吉他形状时,就能演奏和弦;手掌覆盖标记,则会播放指定的旋律。整个过程不需要复杂的硬件,甚至一张纸就能成为交互媒介。借助视觉识别,虚拟乐器与真实动作结合,带来了全新的音乐体验。

这种方法展现了 TUI 的另一种可能:即便物体本身没有电子元件,也能通过环境识别成为交互接口。它突破了“必须植入传感器”的思路,用视觉感知来赋予物体数字意义。在 HCI 的框架下,这种方式凸显了 界面的去物质化与再物质化:一方面,界面不再局限于设备,而是由环境和动作共同构成;另一方面,它又通过物体操作重新获得“可触性”。
案例4:触觉化的烟花体验Feeling Fireworks: An Inclusive Tactile Firework Display
迪士尼研究院(Disney Research)在 TUI 领域有多个实验性项目,其还提出过一个具有艺术性与社会意义的装置——触觉烟花。其设计初衷是让视障人群也能感受到烟花的绽放。研究人员通过在柔性薄膜上喷射水流,模拟烟花扩散的触觉效果。用户把手放在薄膜表面时,可以感受到由中心向外扩散的震动与冲击。该显示屏使用可定向喷嘴将水流喷射到柔性屏幕背面,以高空间分辨率创建快速动态触觉效果。此外,该屏幕还具有背投视觉内容和触摸交互功能。

这一体验不仅还原了烟花的“爆发感”,也为无法依靠视觉的人群提供了共享的节日体验。通过水流的可控喷射和触感反馈,烟花的视觉盛宴被转译为触觉感知。BLV 焦点小组在开发过程中提供了宝贵意见,而一项针对 BLV 用户的用户研究表明,“感受烟花”是一种令人愉悦且意义非凡的体验。除了 Feeling Firework 应用之外,这是一种可扩展触觉显示的新方法,具有更广泛的应用潜力。

这个案例体现了 TUI 在 无障碍设计 中的潜力。它不再只是娱乐或研究,而是成为情感传递与社会包容的工具。通过触觉,人们可以跨越感官限制,共享同一场景的氛围。从 HCI 的角度看,这样的设计扩展了交互的边界,强调 多感官融合 与 情感交互。它不仅是技术展示,更是一种社会关怀,说明 TUI 的价值不仅在于交互方式的创新,还在于拓展交互的受众和意义。

03.
实验室介绍
湖南大学可触界面实验室(新)
可触界面实验室(Touchable Interface Lab)专注于 触觉多感官与多模态人机交互、智能产品界面与用户体验设计 等交叉研究领域。实验室目标是通过结合人工智能与人机交互技术,推动相关设计领域的 理论方法研究 与 产业应用创新。

研究方向
触觉多模态感知与交互
研究如何通过震动、发热、纹理等触觉体验要素和反馈交互提升用户感知体验。
多任务交互中的无缝体验设计研究
在多任务过程中,利用多模态用户界面,任务切换与并行交互方式,实现无缝用户体验。
AI4UX
探索人工智能与用户体验的结合,形成涵盖创新战略、研究方法、流程范式、决策评估的体系化研究。
不确定性驱动的智能设计方法
研究不确定性理论及机器学习算法,量化系统、环境与人的不确定性,构建贯穿概率表征、科学计算、风险评估与智能设计的闭环体系,提升设计的适应性与可靠性
导师介绍

王巍教授
王巍,湖南大学设计艺术学院教授,博士生导师。研究方向:触觉与多感官人机交互、智能设计方法与理论、智能产品设计

通过Midjourney创作的未来智能厨电使用场景故事版。(王巍教授指导项目)

曹立雄副教授
曹立雄,湖南大学设计艺术学院副教授,硕士生导师。研究方向:不确定性量化,结构优化设计方法,虚拟仿真技术、人因分析、数字孪生、飞行器和智能机器人设计等

栾之珑助理教授
栾之珑,湖南大学设计艺术学院助理教授,硕士生导师。研究方向:人智协同设计策略、设计价值与技术伦理思辨、设计方法标准化

陈菲助理教授
陈菲,湖南大学设计艺术学院助理教授,硕士生导师。研究方向:触觉纹理设计,增材制造产品IP保护设计,电子产品结构优化设计
其他代表实验室-浙大智慧形态实验室
在智能制造领域,王冠云教授负责建立的智慧形态实验室,主要聚焦实体交互技术、仿生变形设计、4D打印等;多项研究成果在Nature、Science Advances、CHI、UIST、UbiComp等顶尖期刊及会议上发表;设计作品荣获红点、iF、Ars Electronica等国际设计大奖。

来源:智慧形态实验室
王冠云老师团队等开发了名为 TH-Wood 的新型智能木质材料,聚焦于探索材料智能化与可持续交互设计的结合方式。该成果的第一学生作者是浙江大学工程师学院工业设计工程硕士生陈创。

研究动机源于对传统木材自然属性的再思考——木材在吸水或干燥时会自然发生翘曲等形变,这种现象在过去被视为缺陷,而该团队试图将其转化为一种可控的交互潜力。
为此,研究人员利用3D打印技术,在普通木片表面精确制备一层可降解的生物基聚合物涂层,赋予木材对温度和湿度变化的双重感应能力。这种处理方式让木材不仅能在环境变化中自动变形,还能以稳定、可预测的方式参与交互系统的构建。

设计项目:TH-Wood
来源:查看链接 ↗
TH-Wood 的应用前景十分广阔,特别适用于智慧农业、园艺设施、绿色建筑和环境装置等场景。比如,它可以用于不依赖电力的自动遮阳系统,或随温湿度变化自动展开或闭合的空间结构元件,为可持续设计提供了低能耗、高自然融合度的解决方案。
_本期内容节选自推免课程- 系统课程包__交互设计技术理论基础-TUI_
联系我们
微信:zhaojundesign2

_**¯\_(ツ)_/¯****朝菌学园保研成绩**2024-2026年间朝菌学园的同学们总共收获清北offer+24份💪,同济交大offer共32+..., 浙大累计10+..., 2026保研成绩统计中,即将近期更新👀 !_!图片
2024保研朝菌学园的同学们共拿下了42份国内一流设计院校的 offer,涵盖 清华、上交、浙大、同济 等名校,还有不少新起之秀,比如 哈工大深圳和北师大珠海、南科大,令人感概的是,我们的学员绝大部分都是跨专业选手, 跨保交互 成功的比例高达70%!

_¯\_(ツ)_/¯朝菌学园考研成绩_
_了解教学质量,可重点观察机构专业属性、教学成果、课程内容大纲、师资团队等方面。教学成果非常重要,但也是虚假信息的重灾区,同学们要多咨询多辨识,防止被迷惑欺骗。(清美本部成绩单参考上文)1、榜单中均为在朝菌学园考研主课学习过的学员,2019年之前的榜单则是朝菌学园现任讲师曾经的学生;2、部分同学会同时出现在其他机构成绩单中,这可能是由于该同学曾在多个机构中学习,也可能是其他机构假冒成绩单,如有疑问可以咨询教务老师;3、本榜单中不包含朝菌的保研录取成绩与留学录取成绩;_
_2021级|有11名同学在朝菌学园进行主课学习或1v1辅导并通过初试,最终有6名同学上岸,上岸占比为50%。_
_2022级|有7名同学在朝菌学园进行主课学习并通过初试,最终录取4名同学。上岸占比为66.6%。_
_2023级|有10名同学在朝菌学园进行主课学习并通过初试,含交叉与信息系,最终录取4名同学。上岸占比约50%。2024级|有11名同学在朝菌学园进行主课学习并通过初试,含交叉与信息系、科普艺术设计,最终录取7名同学。上岸占比约63.6%。_
_2025级|有8名同学在朝菌学园进行主课学习并通过初试,含交叉与信息系、科普艺术设计,最终录取4名同学。上岸占比50%。_ʕ •ᴥ•ʔJOIN CLUB
!图片