AI和XR仍是热门考点，这次是“与回忆交互”

写在前面

2023年，VR/AR 与人工智能热度不减。Apple WWDC23 大会推出了革命性的VR头显设备 - Apple Vision Pro，带来了全新的数字内容交互体验。OpenAI 也即将于11月6日举行开发者大会，人工智能又将迎来新一轮的创新浪潮。“智能”、“技术”与“科技”等词汇几乎成为了交互设计考题的“背景版”。 技术知识与前沿科技热点的学习，成为了我们备考或是项目制作过程中必不可少的一环。

本篇推文选取了一个有趣的主题——“与回忆交互”，探讨VR/AR与人工智能技术带给我们的新颖体验。文章选取了3个真实的产品案例进行解读，提炼知识点与破题灵感，希望对大家有所启发哦～

Apple Vision Pro 3D camera

提到起“回忆体验”，或许很多人第一时间想到了翻阅相册。Apple 2023 开发者大会发布的 Apple Vision Pro 推出了苹果的第一款3D相机，支持用户捕捉 3D 空间照片和空间视频，然后通过沉浸式空间音频的方式重温回忆——佩戴者会感觉自己就站在原来拍摄的地方，就像是穿越回了过去的时空。

（此处为视频，请在原文中观看）

用VR 3D相机体验回忆有哪些优势？

Apple Vision Pro 的空间视频和照片具有纸质相册与手机/平板等设备的电子相册所不具备的空间深度，相较于纸质相册的翻阅、电子相册的点击查看，用户在VR 3D空间中能用更丰富的交互方式来无比真实地靠近过去的场景。

想像一下，当10年、30年、50年后，我们这一代回忆 “青葱岁月”时，一幕幕过往的场景向我们涌来，我们同不同时间段的空间场景与人物进行互动，所有我们经历的欢乐、悲伤、激情与离别都将再临我们的精神世界，这将给人们前所未有的情绪体验。

VR 3D相机有哪些交互细节与创新值得关注？

许多同学在VR情景下构建设计方案时会忽略用户与头显设备之间的交互方式，仅仅将VR头显作为UI视觉呈现的载体，没有体现出人与设备的交互过程。在交互细节上，用户轻触 Apple Vision Pro 顶部按钮即可快速轻松地捕获空间视频或照片。当我们拍摄时，Apple Vision Pro 会向我们周围的人发出正在录制的信号。

在进行方案细化时，我们可以选定一个特地场景，如一家人进行亲子活动时，构建使用VR 3D相机进行拍摄的全流程交互，包括拍摄启动—拍摄中提醒—拍摄结束的交互方式与视觉呈现形式。

Apple Vision Pro 同样支持跨设备交互，支持用户使用 iPhone 15 Pro 随时随地拍摄空间视频，然后在 Apple Vision Pro 上重温。在不同设备中体验回忆是一个值得深入挖掘的创新方向。我们在构建方案时，如果涉及到多个硬件设备，可以思考不同设备之间的联动方式。

1. 情感音频留声器 - EmoSound RecorderEmoSound Recorder是一款结合了空间音频和情感记录的应用，可与Apple Vision Pro配合使用。用户可以在录制回忆时捕捉环境音和个人情感，并在重温回忆时播放这些声音。例如，当用户重温记忆深刻的活动时，他们可以听到现场的欢呼声、音乐以及自己当时的情感宣泄，同时使用手势控制或语音指令来切换不同情感声音。

2. 沉浸式时光旅行社交 - ImmerseTime SocialImmerseTime Social是一个沉浸式时光旅行社交平台，将Apple Vision Pro的3D相机与社交互动结合。用户可以创建虚拟时光旅行，并邀请朋友一起加入。利用Apple Vision Pro、iPhone 15 Pro 与Apple Watch 的跨设备交互，随时捕捉重要时刻，以沉浸式的方式体验共享的回忆。这些时光旅行可以包括游戏、挑战、解谜等元素，使回忆互动更加有趣。用户可以在虚拟空间中共享照片和视频，与朋友互动，创造新的回忆。注：灵感启发借助chatGPT

Wistlabs

除了 Apple Vision Pro 这类大厂出品的产品，也有初创公司专攻 “人类回忆体验”，发布了创新产品。Wistlabs 就是一款支持在 Meta Quest 与苹果手机中体验 AR/VR回忆的应用程序。

这款应用可将智能手机拍摄的视频转换为3D视频，用户只需打开该应用并录制视频，即可使二维视频看起来具有三维效果。然后，用户可以使用手机端的AR应用或VR头显设备体验回放视频。

（此处为视频，请在原文中观看）

下图展示了用户佩戴头显设备与过去家庭成员的影响进行互动，相较于第一个案例 Apple Vision Pro，Wistlabs 提供了更丰富的交互形式，支持以AR的形式与历史影相进行互动，而不是单纯的拍摄与观影。

（此处为视频，请在原文中观看）

移动AR和AR/VR头盔分别有什么优劣之处？不少同学在构建方案时没有考虑清楚不同硬件设备的适配环境，导致方案不合理。以 Wistlabs 为例，手机AR移动端的优势在于它可以在普通的移动设备上使用，无需额外的设备，用户可以在任何地方随时体验，适用于通用场景。而AR/VR头盔提供更加沉浸式的体验，用户可以完全沉浸在虚拟场景中，适用于在家庭环境、办公室等固定空间环境中。用户可以根据什么因素选择不同的设备？

选择哪种设备取决于用户对体验的要求、使用场景以及使用功能的不同。如果用户需要更加沉浸式的体验，如家庭聚会、观影体验等可以选择AR/VR头盔；如果用户更注重便携性和随时随地的体验，如外出旅游情景可以选择移动AR。

灵感方案启发 >

1."回忆传记工坊" - Memory Biography Workshop这个应用允许老年人创建他们自己的回忆传记。他们可以使用Wistlabs应用记录和编辑回忆，添加文字、音频和视频描述。应用考虑到包容性设计，支持语音命令和大字体，以便老年人可以轻松使用。传记可以与亲朋好友分享，同时也可以保存为家庭遗产，以保留家庭回忆。这个方案鼓励老年人参与创造，分享和保留他们的回忆。

2. "文化故事探险" - Cultural Story Expeditions这个应用为旅行者提供一个互动的文化遗产探索体验。旅行者可以使用Wistlabs应用记录与历史建筑、传统工艺、民族仪式等有关的3D回忆。这些回忆可以与其他旅行者分享，同时应用也将提供与当地专家和文化传承者的虚拟互动。这有助于传播文化遗产，同时为旅行者提供更深入的文化理解。注：灵感启发借助chatGPT

Rewind

相较于上文所展示更偏体验的 VR/AR 应用案例，人工智能突出的特色体现在解决实际问题的效率上。谈到人类与AI能力的优势与劣势，“人类的记忆力” 肯定无法与AI相比。即然人类比AI更健忘，那么AI在 “记忆增强与回忆体验领域” 就有非常广阔的产品创新空间。

Rewind 是一个基于人工智能的数字助手,正如其名称「倒带」所喻，它可以自动捕捉用户的屏幕内容和音频输入,然后利用自然语言处理技术为用户提纲屏幕回放、会议总结、倒回浏览器崩溃前的任何时间段等实用功能，“根治”了人类在操作信息产品时的健忘症。创始人希望把电脑操作历史做成一个可回溯、可搜索的数据库，这样用户在任何安装了倒带的电子信息产品中都能与过去的操作进行回忆查看、恢复操作、询问AI等交互。

倒带体现了哪些交互设计细节？

下图界面的主体显示的是录制的屏幕画面。底部是一个时间轴，上面依次排列着此前用过的应用图标。（一个比较细心的设计是，Rewind 内置了接近一千个常用网站的图标可以按需显示，这比只显示浏览器图标更加直观。）

使用触控板或鼠标滚轮滚动时间轴，就能查阅不同时间段的屏幕画面。如果需要快速跳转，可以按住 Shift 加快滚动速度；或者点击时间轴上方的日期文本，从弹出的日历对话框中选择要转到的日期。

不过，Rewind 的招牌功能还是藏在界面中间的搜索框里。在这里输入任何你觉得曾在屏幕上出现过的文本，Rewind 就会帮你从「记忆」的每个角落中搜刮出它的每一处痕迹，然后以时间倒序显示出带有高亮提示的缩略图矩阵——其中往往有那么一两个能让你拍案称奇的偏门发现。

Rewind 应用了哪些人工智能技术？

据官方介绍，Rewind 的原理搜索资料的过程使用原生 macOS API 和光学字符识别（OCR）来分析屏幕上的所有内容。

Rewind 的团队拥有一项特别的技术，可以把原始的录音文件压缩高达 3750 倍。相当于录下 3750G 的文件最终可以压缩到只有 1 个 G，大大缓解了本地存储的压力，因此该软件支持长期「续航」。Rewind 可能使用了「智能图像算法合并处理整片的同色像素点」，利用「语音编码技术」对音视频进行了极致压缩处理，同时给每段信息加上时间戳以在使用时精准定位。

在「Ask Rewind 」功能里接入了 GPT-4，用户可以自己看到的任何内容提出问题，包括创建摘要，跨应用总结信息。

注: 创始团队明确表示这是基于 MacBook 自研芯片所打造的 macOS app，这意味着目前只有搭载有苹果自研的 M 芯片的产品才能使用；另外，部分软件如未开放 API，该软件也无法打破「屏障」记录你在软件上记录的内容。

倒带如何考虑用户的隐私问题？

产品也设想了许多用户担心的隐私问题，并提出了解决办法。比如，软件产生的所有文件全都本地存储，用户可以随时按停止记录删除本地文件，用户也可以选择哪款软件不被记录。

（此处为视频，请在原文中观看）

灵感方案启发 >

1."为阿兹海默症患者设计的回溯社交网络" - Retroactive Social Network

这个方案旨在帮助阿兹海默症患者与亲友互动，并保持社交联系。应用会使用 "Rewind" 技术来捕捉患者的社交媒体活动和通信，然后将这些信息整理成一个 "回溯社交网络"。患者可以在应用中浏览以前的社交帖子、聊天记录和照片，以恢复与亲友的联系。这个方案旨在减轻患者感到孤独和隔离的情感。

2. "回溯自学平台" - Retroactive Learning Platform

这个方案针对学习和个人成长领域。用户可以使用 "Rewind" 记录的回忆来创建学习资源，例如回溯学习笔记、培训材料等。这些资源可以通过搜索框快速检索，以帮助用户快速回溯学习过程中的关键信息。用户还可以与其他学习者分享他们的回溯学习资源，从而共同提高知识技能。这个方案强调学习的个性化和回溯学习的概念。

注：该案例分析来自案例百科班学员，灵感来源chatGPT

从应试趋势分析总结案例积累策略

“智能”、“技术”与“科技”等词汇几乎成为交互设计考题的“背景版”。以清美信息交叉交互设计设计方向的考题为例，近四年专业手绘的主题都与智能产品与智能场景强相关。

20 - 分析大学校园可能存在的安全问题，设计一款 智能产品与应用21 - 为餐厅的 自助点餐机器人 设计交互界面22 - 设计一款 智能镜，设计完成一套适合该场景的界面23 - 智能家庭生活场景 的日程与出行提示应用设计

680专业理论科目，从20年一直到23年，考题也是句句不离科学技术与智能情景。

20 - 科学与艺术的结合21 - 艺术与科技融合对未来生活方式的影响22 - “ 虚拟现实 对交互叙事和文化体验的影响”、“虚拟现实对人机交互和 智能设计 的影响”以及“虚拟现实对产业创新的影响”三选一23 - 随着 科学技术 的发展尤其是生命科学和医药技术的发展，人类的寿命在不断增加，结合 科技向善 的理念，论述如何面向老年人做创新设计。

包括上交、同济等头部设计院校，以及从全国范围内把握设计学科的发展方向，紧跟科技发展的最前沿是必然的趋势。

比如2022届同济设计创意学院交互设计方向801设计快题，题目以“家庭”环境为背景，要求考生设计一个“家用服务机器人“的HRI (Human-Robot Interaction)，并规定了功能特点：可以与在人的交互中得到 知识与能力增强（人与人工智能的交互）。

再看上海交大23年快题，要求设计 压片薄膜 在产品中的应用（考察硬核技术知识的设计运用）。浙大23年 337工业设计工程，设计理论与方法部分第三问——为中国厂商设计一款 智能电视 (含软硬件)。头部院校对考察交互设计方向掌握的 “技术知识面” 要求越来越广，也愈加趋向专业化。

在日常学习过程中，关注谷歌、Apple、Meta、微软与英伟达等世界头部科技公司的官媒，持续积累落地创新产品或概念获奖作品，我们才能做到对前沿科技的发展与落地产品有真实的认知。

文末为大家准备了今年智能设计、AI技术发展的 精品报告 与 论文资料，感兴趣的同学可以【扫码添加内容运营 - 智将菌】 领取资料 哦～

文章案例参考链接：

查看链接 ↗