专业知识分享其他

从VR头显、AR眼镜到AI智能眼镜,一篇梳理空间交互与Spatial AI #680理论基础知识点梳理

2026-09-1012 MIN READ原载于微信公众号 ↗

从Apple Vision Pro、Meta Ray-Ban智能眼镜,到XREAL、Magic Leap等不同形态的产品,VR头显、AR眼镜和AI智能眼镜不断出现在科技展会和新品发布中。2026年的AWE(Augmented World Expo)已经明显把讨论重点从单纯的VR/AR设备,进一步推向空间计算、智能眼镜和Spatial AI。

从市场数据也能看到这种变化。IDC数据显示,2026年第一季度,全球无显示智能眼镜出货量约225万台,同比增长167%;同期带显示的AR/VR/MR/XR眼镜出货量也同比增长86%。

这些产品背后更值得我们关注的是 数字信息与现实空间之间的关系正在发生变化。

过去,我们与数字信息的互动大多发生在手机、电脑等明确的屏幕之中。按钮的位置、文字的大小、图片占据的面积,都由屏幕这一固定界面预先规定好了。而当一个虚拟物体可以出现在几米之外,一条信息可以被固定在真实的桌面上,用户也可以通过视线、手势甚至身体移动与数字内容发生关系时,设计面对的问题就不再只是“界面应该怎么画”。

设计需要开始回答另一个问题: 当数字内容拥有了自己的空间位置,人与信息、人与环境之间的关系会发生什么变化?

本节内容整理自朝菌学院2026清华美院信息艺术设计交叉学科交互方向680暑期班课程

(此处为视频,请在原文中观看)

课程试听

VR,即Virtual Reality,虚拟现实。简单来说,它是通过头戴式显示设备、空间追踪、实时渲染等技术,为用户构建一个由计算机生成的三维环境,并让用户能够在其中进行观察和交互。

和普通的3D游戏最大的区别在于,VR并不是让用户“看一个三维画面”,而是试图让用户产生“我就在这个空间里”的感觉。

当你转动头部时,虚拟画面会随之变化;当你向前走,虚拟空间中的位置也会发生改变;当你抬起手,系统可以识别手部动作,并让虚拟环境中的物体产生对应的反应。

所以,VR真正改变的并不是屏幕的尺寸,而是 人与数字内容之间的距离。以前我们坐在屏幕前看一个虚拟世界,现在则可以把自己的身体带进这个世界。

01 VR发展历史

“让人进入另一个空间”的想法其实已经存在了很久。19世纪的全景画就曾经通过环形画面把观看者包围起来,让人站在画面中央产生身处场景之中的感觉。到了1968年,Ivan Sutherland团队制作了早期头戴式显示系统“Sword of Damocles”,虽然设备笨重、需要悬挂在天花板上,却已经能够根据用户头部的转动改变画面,虚拟环境第一次真正与人的身体运动建立起实时关系。

Sword of Damocles

之后VR经历了多轮技术探索。1990年代,任天堂、世嘉等公司都曾尝试推出消费级VR设备,但受限于显示、计算和追踪技术,体验始终不够成熟。2016年前后,Oculus Rift、HTC Vive等产品进入市场,让VR重新成为消费电子领域的热点。

HTC Vive通过外部基站定位用户,Quest则进一步采用Inside-out Tracking,利用头显自身的摄像头和传感器识别周围环境,让用户可以直接在房间中移动。VR也由此从“看一个虚拟画面”,逐渐变成了真正可以 走进去、转身、移动和操作的空间。

HTC  Vive

2023年,Apple发布Vision Pro,VR/AR设备再次成为科技行业关注的焦点。Vision Pro进一步提升了显示、空间追踪和环境感知能力,同时引入了以 眼睛、手和声音 为核心的交互方式,用户可以直接注视空间中的内容,并通过手势进行选择和操作。与此同时,它通过视频透视等技术保留了现实环境,让虚拟内容能够与现实空间同时存在。

Apple Vision Pro

02 VR是怎么把一个“空间”做出来的?

要让用户相信自己真的进入了一个空间,第一件事就是让设备知道“我现在在哪里”。

这就是定位与追踪(Tracking)要解决的问题。头显需要持续判断用户头部的位置和朝向,甚至还要识别手部等身体动作,这样虚拟内容才能随着人的运动实时变化。

早期VR设备比较依赖外部基站进行定位,比如HTC Vive通过Lighthouse基站确定用户的位置;现在很多一体式头显则采用Inside-out Tracking,由设备自身的摄像头观察周围环境,再结合惯性传感器判断设备的位置和运动。

如果设备不仅要知道“我在哪里”,还要理解“房间是什么样”,就需要进一步建立环境地图,这就涉及SLAM(Simultaneous Localization and Mapping,即同步定位与建图)。简单来说,就是设备一边判断自己的位置,一边逐渐建立周围空间的地图。

有了空间位置,还需要让虚拟物体看起来真的存在于这个空间里。VR头显通常会分别向左右眼提供略有差异的图像,利用人眼的双目视差产生深度感,再结合三维建模和实时渲染,让一个原本只存在于计算机中的模型看起来像是“就在我面前”。

NEAR-EYE DISPLAY

除此之外,声音和触觉也会影响空间感。空间音频可以让声音随着虚拟声源的位置发生变化,让用户判断声音来自前方、身后还是侧面;手柄、手部追踪和触觉反馈,则可以进一步补充视觉之外的信息。

所以,VR中的“空间”并不只是一个3D画面。 它是由视觉、声音、身体运动和实时反馈共同构成的交互环境。

03 当界面从屏幕进入空间

当数字内容真正拥有了空间,界面设计也会发生变化。

在手机和电脑里,按钮、文字和菜单的位置基本由屏幕决定。设计师需要考虑的是按钮放在哪里、文字多大、页面怎么布局。但在VR中,一个按钮可以悬浮在眼前,也可以位于几米之外;一个虚拟物体可以放在桌面上,也可以漂浮在空中。

这时候, 距离、尺度、方向,以及用户身体的位置,都成为交互设计的一部分。

比如虚拟键盘看起来可以和电脑键盘完全一样,但用户没有真实按键提供的触觉反馈。如果键盘放得太远,用户需要不断伸手;放得太近,又可能挡住视线。一个看似简单的二维界面,进入三维空间之后,就必须重新考虑它应该放在哪里、做多大,以及用户需要怎样操作。

How to Make a VR Keyboard in Unity - Poke and Ray Interaction - YouTube
How to Make a VR Keyboard in Unity - Poke and Ray Interaction - YouTube

Apple Vision Pro提供了一个比较直观的例子。用户可以直接看向界面中的窗口,通过手指捏合完成选择,也可以使用语音进行输入。这样的交互方式让用户不需要一直寻找鼠标或者触摸屏上的按钮,而是可以直接看向空间中的内容,再用手部动作完成操作。

所以在VR设计中,需要设计师考虑的不再只是“界面怎么布局”,还需要考虑 界面与空间、身体以及环境之间的关系:界面应该放在哪里?用户需要移动身体还是只需要转动视线?信息应该一直存在,还是在需要的时候出现?一个按钮到底应该有多大,才能既容易被看到,又不会干扰用户观察现实或虚拟环境?

这些变化说明,VR中的“界面”已经不再只是屏幕上的一块区域,用户所在的空间本身也开始参与交互。

如果我们不需要进入一个完全虚拟的世界,能不能直接把数字内容放进正在生活的现实空间呢?这就是AR要解决的问题。

AR,即Augmented Reality,增强现实。与VR直接构建一个虚拟环境不同,AR保留了用户对现实世界的感知,同时把数字内容叠加到现实环境中。比如手机AR导航中的箭头、家具摆放应用中的沙发,或者AR试衣镜中的试穿效果,用户看到的都不是一个完全虚拟的世界,而是 现实环境和数字内容同时存在。

也就是说,AR真正需要解决的问题,并不是简单地“把一个虚拟模型显示出来”,而是要让这个模型知道自己 应该出现在现实世界的什么位置。例如AR导航中的箭头不能只是固定在手机屏幕上,而应该和真实道路建立对应关系:用户向前走,箭头继续出现在正确的位置;用户转身,箭头也需要随着现实方向发生变化。

这意味着,AR设备需要不断判断“我在哪里”“周围有什么”以及“虚拟内容应该放在哪里”。

01 AR如何让虚拟内容“对准”现实空间?

想要理解AR,需要知道一个非常重要的概念就是 空间注册(Spatial Registration)。简单来说,就是让虚拟内容和现实世界建立准确的空间对应关系。设备需要通过摄像头、惯性传感器、深度传感器等获取环境信息,并结合SLAM等技术判断自身位置和周围空间结构,然后将数字内容放到对应的位置。

比如我们把一个虚拟模型放在真实桌面上,系统首先要识别出桌面在哪里,再把模型放到这个平面上。当用户走到桌子的另一边时,模型依然应该留在原来的位置,而不是跟着手机画面一起移动。这就是 空间锚定(Spatial Anchoring):可以把它理解成给虚拟内容在现实空间里“钉”一个位置。

空间锚定

AR还需要处理现实世界中的 遮挡关系。如果一个虚拟物体位于真实桌面后面,那么它应该被桌面挡住一部分;如果虚拟模型直接穿过桌面显示出来,用户很快就会发现它与现实空间不匹配。所以,系统不仅要知道“桌子在哪里”,还要判断不同物体之间的前后关系。

从这些技术可以看出,AR并不是简单地给现实画面“加一层数字内容”,而是需要让虚拟内容逐渐遵守现实世界的空间规则。 只有当数字内容能够正确地定位、固定,并与现实环境产生合理的遮挡关系时,用户才会真正觉得它“存在”于这个空间里。

02  AR设备不只有一种形态

我们在现实中最常见的AR应用的搭载设备就是手机,它可以通过摄像头获取现实环境,再把虚拟家具、导航箭头、游戏角色等内容叠加到画面中。比如家居应用可以让用户直接在手机画面里预览家具放进真实房间后的效果。

9 Real-World Examples of Augmented Reality | Coursera
9 Real-World Examples of Augmented Reality | Coursera

在展览、舞台和沉浸式空间中,也经常可以看到另一类AR应用:数字内容被直接投射到墙面、桌面、建筑甚至人体上,让现实中的物体或空间成为数字内容的载体。还有一些设备则尝试通过AR眼镜,将虚拟内容直接放入用户视野,让数字信息能够持续存在于现实环境之中。

不同的实现方式,对设备和技术的要求也不同。手机AR需要依赖摄像头和屏幕,投影式AR需要适应不同的空间和表面,而AR眼镜还需要解决显示亮度、视场角、光学方案、设备重量和续航等问题。

这些不同的实现方式,也让AR进入了越来越多的使用场景。从手机里的家具预览,到展览中的空间投影,再到眼镜中的实时信息提示,数字内容与现实环境的结合方式越来越丰富。 而当信息不再局限于屏幕,而是直接出现在真实环境中,设计师需要考虑的也就不再只是界面本身,而是信息与现实空间之间的关系。

从VR到AR,数字内容与现实世界之间的距离正在不断缩短。用户可以进入一个完全由数字构成的环境,也可以继续生活在现实空间中,同时与叠加其中的数字内容进行互动。

这也让设计的对象逐渐发生变化。过去我们主要面对的是屏幕、产品和界面,而在VR、AR中,还需要考虑 空间、身体、环境以及数字内容之间的关系。一个交互应该出现在什么位置、用户需要怎样移动和操作、数字信息应该如何与现实环境配合,都成为设计的一部分。

而VR和AR带来的变化并不只是多了一种新的显示方式,而是让设计开始从“设计一个界面”,走向 设计人与数字内容在空间中的互动方式。这也是空间交互、沉浸式体验在人机交互设计值中得持续关注的原因。


更多院校&课程可咨询


_ʕ •ᴥ•ʔJOIN CLUB_

本文原载于微信公众号,正文与配图已转存至本站以便长期访问。 查看原文 ↗

有想具体聊聊的问题?把你的情况说一说。

联系咨询