在当今数字化时代，人工智能技术正以前所未有的速度发展， 其中AI代理（AI Agent）尤为引人注目。 AI代理不仅仅是技术的前沿，它们正在逐渐成为我们日常生活和工作中不可或缺的伙伴。 从智能家居控制、客户服务聊天机器人，到复杂的决策支持系统，AI代理的应用范围广泛，它们通过模拟人类的决策过程和交互方式，极大地提高了效率和用户体验。随着技术的不断进步，AI代理的能力和应用场景也在不断扩展，这使得学习和掌握AI代理的相关知识变得尤为重要。
由斯坦福大学、微软研究院、加州大学洛杉矶分校、华盛顿大学与微软游戏联合发布的论文《Agent AI: Surveying the Horizons of Multimodal Interaction》，正是在这一背景下应运而生。 它不仅探讨了AI代理的基本概念和核心技术，更将其置于多模态交互的框架中进行深入讨论。 多模态交互是指集成了视觉、语言、声音等多种感官信息的交互方式，它使得AI代理能够更加自然和直观地与人类进行交流。 论文通过分析AI代理在多模态环境中的感知、理解和行动能力，为我们揭示了这一领域的最新进展和未来趋势。
论文知识大纲
对于希望 深入了解AI代理如何在丰富交互场景中发挥作用的设计专业的同学来说，这篇论文提供了非常前沿的知识总结和专家级别的见解， 不仅能够帮助我们理解AI代理的工作原理，还能启发我们设计出更加智能、更加人性化的交互系统。全文篇幅较长，知识点密集，建议收藏，以便大家消化学习～
:: 00
什么是AI Agent？
如何与多模态交互研究结合？
在未来，多模式人工智能系统可能会在我们的日常生活中无处不在。使这些系统更具交互性的一个有前途的方法是 将它们体现为 物理和虚拟环境中的代理（Agent）。 目前，系统 利用现有的基础模型（如GPT模型）作为创建实体代理的基本构建块。 在此类环境中 嵌入代理可以提高模型处理和解释视觉和上下文数据的能力，这对于创建更复杂和上下文感知的人工智能系统至关重要。例如， 可以感知用户动作、人类行为、环境对象、音频表达和场景集体情感的系统可用于通知和指导给定环境中的代理响应。
为了加速基于代理的多模态智能的研究， 论文将“智能代理（AI Agent）”定义为一类交互系统，可以感知视觉刺激、语言输入和其他基于环境的数据，并可以产生有意义的具体动作。 特别是，我们探索旨在通过结合外部知识、多感官输入和人类反馈来改进基于下一个具体动作预测的代理的系统。
论文指出，通过在接地环境（Grounded Environment—这个术语在人工智能和机器学习领域中，通常指的是一个环境或系统，它能够使AI代理（agents）或模型与现实世界或模拟的物理世界进行交互）中开发代理人工智能系统，人们还可以减轻大型基础模型的幻觉及其产生环境不正确输出的倾向。Agent AI 的新兴领域包含了多模式交互的更广泛的体现和代理方面。 除了在物理世界中行动和交互的代理之外，论文还设想了一个未来，人们可以轻松创建任何虚拟现实或模拟场景，并与虚拟环境中体现的代理进行交 互。
图 1： 可以在不同领域和应用程序中感知并采取行动的智能代理系统概述。 人工智能代理正在成为通用人工智能 (AGI) 的一条有前途的途径。人工智能代理训练已经展示了对物理世界的多模式理解的能力。它通过利用生成式人工智能以及多个独立数据源，为与现实无关的训练提供了一个框架。
当针对跨现实数据进行训练时，针对代理和动作相关任务进行训练的大型基础模型可以应用于物理和虚拟世界。论文概述了 智能体人工智能系统，该系统可以在许多不同的领域和应用程序中感知和行动，可能作为使用智能体范例实现 AGI 的途径。
:: 01
简介
1.1 AI Agent研究的缘起
基于代理范式的多模态交互：通往通用人工智能之路
从历史上看， 人工智能系统在 1956 年达特茅斯会议上被定义为人工生命形式，可以从环境中收集信息并以有用的方式与之交互。 受这个定义的启发，明斯基的麻省理工学院小组于 1970 年构建了一个名为 “复 制演示（Copy Demo） ”的机器人系统，该系统观察“块世界”场景，并成功重建了观察到的多面体块结构。
" 块世界"（Blocks World） 场景是人工智能（AI）和计算机科学领域中一个经典的理论模型，用于研究和开发智能系统，尤其是那些涉及视觉感知、规划和操作的系统。这个模型最初由计算机科学家Patrick Winston在1970年代提出，目的是为了简化和形式化智能行为的研究。
在"块世界"场景中，环境被抽象为一系列不同的块（blocks），这些块可以是不同形状和大小的几何体，如立方体、球体等。这些块可以相互堆叠、放置或分散在平面上。智能系统的任务通常包括识别这些块的配置、规划如何移动或操作这些块以达成特定的目标（如堆叠特定的块或清理桌面），并执行这些计划。
该系统由 观察、规划和操作模块组成，表明每个子问题都极具挑战性，需要进一步研究。人工智能领域分为专门的子领域，这些子领域在解决这些问题和其他问题方面基本上独立地取得了巨大进展。
随着强大的预训练LLMs（大语言模型）和 VLM（视觉语言模型） 的出现，自然语言处理和计算机视觉领域的复兴得到了促进。 LLMs现在展现出令人印象深刻的破译现实世界语言数据细微差别的能力，通常达到与人类专业知识OpenAI相当甚至超越的能力。
最近，研究人员表明， LLMs可以扩展为在各种环境中充当代理，与特定领域的知识和模块配合使用时执行复杂的操作和任务。 这些场景的特点是 复杂的推理、对代理角色及其环境的理解以及多步骤规划，测试了代理在其环境限制内做出高度细致和复杂的决策的能力。
在这些初步努力的基础上，人工智能社区正处于重大范式转变的风口浪尖， 从为被动、结构化任务创建人工智能模型过渡到能够在多样化和复杂的环境中承担动态、代理角色的模型。 在此背景下，本文研究了使用LLMs和 VLM 作为代理的巨大潜力，强调了融合了语言能力、视觉认知、情境记忆、直觉推理和适应性的模型。
利用LLMs和 VLM 作为代理，尤其是在游戏、机器人和医疗保健等领域，不仅可以为最先进的人工智能系统提供严格的评估平台，而且还预示着以代理为中心的人工智能将产生的变革性影响社会和行业。 当充分利用时，代理模型可以重新定义人类体验并提高运营标准。这些模型带来的全面自动化的潜力预示着行业和社会经济动态的巨大转变。
1.2 背景支持智能体的概念、理论背景和现代实现的相关研究结论
① Large Foundation Models: 大型基础模型LLMs和 VLM 一直在推动通用智能机器的开发。尽管他们是使用大型文本语料库进行训练的，但他们卓越的问题解决能力并不局限于规范语言处理领域。 LLMs可以潜在地解决以前被认为是人类专家或特定领域算法独有的复杂任务，范围从数学推理到回答专业法问题。 最近的研究表明， 使用LLMs为机器人和游戏人工智能生成复杂计划的可能性，标志着LLMs作为通用智能代理的一个重要里程碑。
② Embodied AI: 体现人工智能：许多工作利用LLMs来执行任务规划，特别是 LLMs的 WWW 规模领域知识和突发零样本体现了执行复杂任务规划和推理的能力。
WW W规模领域知识（WWW-Scale Domain Knowledge）
AI模型不仅读遍了图书馆里所有的书，还上网浏览了世界上所有的网站。这意味着它拥有海量的信息和知识，覆盖了你能想到的几乎所有主题。当我们说“WWW规模”，我们指的是互联网的全球信息网，也就是World Wide Web。所以，当一个AI模型拥有“WWW规模领域知识”，就是说它通过学习互联网上的大量文本，积累了广泛的知识，能够理解和生成涉及各种话题的内容。
突发零样本（Emergent Zero-Shot）
这个概念稍微复杂一点，但它本质上是说AI模型能够做一些它以前没见过的事情。就像一个厨师，即使没有做过某种特定的菜，但因为有足够的烹饪知识和经验，他能够根据手头的食材和一般的烹饪原则，即兴做出一道新菜。在AI的世界里，这意味着即使模型没有被直接训练去执行某个特定的任务，它也能够根据它所学到的知识和逻辑，尝试去完成这个任务。这就是“突发零样本”能力，模型能够“零样本”地处理新任务，也就是在没有先前训练样本的情况下进行任务。
最近的 机器人研究还利用LLMs来执行任务规划，将自然语言指令分解为一系列子任务，无论是自然语言形式还是在Python代码中，然后使用低级控制器来执行这些子任务。此外，它们还结合环境反馈来提高任务绩效。
③ 互动学习专为交互式学习而设计的人工智能代理结合机器学习技术和用户交互进行操作。 最初，人工智能代理在大型数据集上进行训练。该数据集包含各种类型的信息，具体取决于代理的预期功能。例如，为语言任务设计的人工智能将在大量文本数据集上进行训练。
训练涉及使用机器学习算法，其中可能包括神经网络等深度学习模型。这些训练模型使人工智能能够根据训练数据识别模式、做出预测并生成响应。人工智能代理还可以从与用户的实时交互中学习。这种交互式学习可以通过多种方式进行：
1）基于反馈的学习： 人工智能根据直接用户反馈调整其响应。例如，如果用户纠正人工智能的响应，人工智能可以使用此信息来改进未来的响应。
2）观察学习： 人工智能观察用户交互并隐式学习。例如，如果用户经常问类似的问题或以特定方式与人工智能交互，人工智能可能会调整其响应以更好地适应这些模式。它允许人工智能代理理解和处理人类语言、多模型设置、解释跨现实上下文并生成人类用户的响应。随着时间的推移，随着更多的用户交互和反馈，人工智能代理的性能通常会持续提高。这个过程通常由人类操作员或开发人员监督，他们确保人工智能正确学习，不会产生偏见或不正确的模式。
1.3 概述探讨多模态Agent AI系统的原理和应用
多模态智能体 (MAA) 是一系列系统，可基于对多模态感官输入的理解在给定环境中生成有效的操作。 随着大型语言模型（ LLMs ）和视觉语言模型（VLM）的出现，从基础研究到应用领域，众多的 MAA 系统被提出。
虽然这些研究领域通过与每个领域的传统技术（例如视觉问答和视觉语言导航）相结合而快速发展，但它们具有共同的研究兴趣点，例如数据收集、基准测试和伦理观点。在本文中，研究者重点关注 MAA 的一些代表性研究领域， 即多模态、游戏（VR/AR/MR）、机器人和医疗保健，旨在提供有关这些领域讨论的常见问题的全面知识。因此，我们希望了解 MAA 的基础知识并获得见解以进一步推进他们的研究。具体学习成果包括：
MAA 概述：深入探讨其原理和在当代应用中的作用，让研究人员全面掌握其重要性和用途。
方法论：
LLMs和 VLM 如何增强 MAA 的详细示例，通过游戏、机器人和医疗保健领域的案例研究进行说明。
绩效评估：使用相关数据集评估 MAA 的指南，重点关注其有效性和概括性。
道德考虑：讨论部署 Agent AI 的社会影响和道德排行榜，强调负责任的开发实践。
新兴趋势与未来排行榜：对各个领域的最新发展进行分类，并讨论未来的方向。
基于计算机的动作和多面手代理 (GA) 对于许多任务都很有用。 GA 要对其用户真正有价值，它可以自然地与广泛的上下文和模式进行交互并推广到广泛的上下文和模式。我们的目标是培育一个充满活力的研究生态系统，并在 Agent AI 社区中创造一种共同的认同感和目标感。
基于计算机的动作（Computer-based action）
想象一下，你在玩一个视频游戏，游戏里的每个动作，比如跳跃、射击或者开车，都是由计算机程序控制的。在现实世界中，这些动作是由人来完成的，但在计算机世界里，它们是由代码和算法来完成的。这就是“基于计算机的动作”，意味着计算机能够理解和执行各种任务，就像人类一样。
多面手代理（generalist agents (GAs)）
想象一下有一个超级助手，它不仅能帮你查邮件、订外卖，还能帮你管理日程、搜索信息，甚至陪你聊天。这个超级助手就像是电影里的全能机器人，能够做各种各样的事情。在计算机科学中，我们把这种能处理多种任务的智能系统称为“多面手代理”或“通用代理”。它们就像瑞士军刀一样，多功能而且灵活。
:: 02
代理人工智能集成
正如之前的研究中所提出的，基于LLMs和 VLM 的基础模型在具体人工智能领域仍然表现出有限的性能，特别是在 理解、生成、编辑和在不可见的环境或场景中交互方面。 因此，这些限制导致人工智能代理的输出不理想。当前 以主体为中心的人工智能建模方法侧重于可直接访问且明确定义的数据（例如世界状态的文本或字符串表示），并且通常使用从大规模预训练中学习到的与领域和环境无关的模式来预测每个环境的动作输出。
以代理为中 心的人工智能建模方法（agent-centric AI modeling approach）
如果你正在设计一个角色扮演游戏（RPG）。在这个游戏中，每个角色都有自己的目标和任务，比如寻找宝藏、打败怪物或者拯救村民。这些角色就像有自己思想和行动计划的“代理 - agent”。以代理为中心的人工智能建模方法，就是指我们设计AI时，让AI像这些游戏角色一样，有自己的目标和行动计划，能够根据环境变化做出决策和行动。这种方法让AI看起来更像一个有目的、有计划的“活”的实体，而不是简单地按照预设的指令行动。
世界状态的文本或字符串表示（string representations of the world state）
在计算机的世界里，计算机需要理解我们所处的环境，也就是“世界状态”。但是计算机不像人类，它们不能直接看到或感知世界，所以需要我们把世界转换成它们能理解的形式。这就像给计算机写一本“世界说明书”。在这本说明书里，我们用文字和符号（也就是文本或字符串）来描述世界的状态，比如“房间里有一张桌子”、“外面正在下雨”。这样，计算机就能通过阅读这些描述来“理解”周围的环境，并据此做出反应。这种方法让AI能够处理和理解关于世界的信息，就像人类通过阅读书籍来获取知识一样。
通过结合大型基础模型来研究知识引导的协作和交互式场景生成任务，并显示出有希望的结果，表明 基于知识的LLM智能体可以提高 2D 和 3D 场景理解的性能、生成和编辑，以及其他人机交互。
通过集成Agent AI框架，大型基础模型能够更深入地理解用户输入，从而形成复杂且自适应的HCI系统 。LLM和 VLM 的新兴能力在生成人工智能、具体化人工智能、多模型学习的知识增强、混合现实生成、文本到视觉编辑、游戏或机器人任务中 2D/3D 模拟的人机交互中发挥着无形的作用。
人工智能代理在基础模型方面的最新进展为解锁实体代理的通用智能提供了迫在眉睫的催化剂。 大型动作模型或智能体视觉语言模型为通用具体系统（例如复杂环境中的规划、问题解决和学习）开辟了新的可能性。 Agent AI 在元宇宙中进一步测试，并路由了 AGI 的早期版本。
2.1 无限AI代理
在新领域中迁移和应用通用知识人工智能代理有能力根据其训练和输入数据进行解释、预测和响应。虽然这些功能很先进并且不断改进，但重要的是要认识到它们的局限性以及它们所训练的基础数据的影响。
人工智能代理系统通常具有以下能力：
1）预测建模： 人工智能代理可以根据历史数据和趋势预测可能的结果或建议下一步行动。例如，他们可能会预测文本的延续、问题的答案、机器人的下一步动作或场景的解决方案。2）决策： 在某些应用中，人工智能代理可以根据他们的推理做出决策。一般来说，代理将根据最有可能实现特定目标的方式做出决定。对于推荐系统等人工智能应用，代理可以根据对用户偏好的推断来决定推荐哪些产品或内容。 3）处理歧义： 人工智能代理通常可以根据上下文和训练推断最可能的解释来处理歧义输入。然而，他们这样做的能力受到训练数据和算法范围的限制。 4）持续改进： 虽然一些人工智能代理有能力从新数据和交互中学习，但许多大型语言模型在训练后不会持续更新其知识库或内部表示。他们的推论通常仅基于上次训练更新时可用的数据。
论文在图2中展示了 用于多模态和跨现实不可知集成的增强交互代理以及涌现机制。 人工智能代理需要为每项新任务收集大量的训练数据，这对于许多领域来说可能成本高昂或不可能。在这项研究中，研究者开发了一个无限代理，它学习将记忆信息从通用基础模型（例如，GPT-X、DALL-E）转移到新的领域或场景，以在物理或虚拟世界中进行场景理解、生成和交互式编辑。
用于多模态和跨现实不可知集成的增强交互代理以及涌现机制
multi-modality and cross reality-agnostic integration with an emergence mechanism如果你正在设计一个超级智能的虚拟助手，它不仅能理解你说的话（语言），还能看懂你展示的图片（视觉），甚至能听懂你哼的旋律（音频），那这个助手需要在不同的环境（比如现实世界和虚拟世界）中都能工作，而且不管这些环境有多复杂，它都能适应并做出正确的反应。这就是“用于多模态和跨现实不可知集成的增强交互代理”的意思。
而“涌现机制”是指这个智能助手在处理各种信息时，能够产生一些新的能力或行为，这些能力或行为并不是预先编程好的，而是在处理信息的过程中自然形成的，就像水到渠成一样。
无限代理（ Infinite AI agent ）
“无限代理”是指一种理论上可以无限学习的AI系统。它能够不断地从新的数据和经验中学习，不断地扩展自己的知识和能力。就像一个永远在成长的学习者，无论遇到什么新问题，都能快速学会如何解决。
2.2 具有大型基础模型的智能体
利用先进AI模型提升代理智能
最近的研究表明， 大型基础模型在创建数据方面发挥着至关重要的作用， 这些数据可以作为确定代理在环境约束下的行为的基准。 例如，使用机器人操纵的基础模型。
人们对根据语言和环境因素产生条件性人类运动也越来越感兴趣。 研究者已经提出了几种人工智能系统来生成针对特定语言指令定制的动作和动作，并适应各种3D场景。有研究强调了 生成模型在增强人工智能代理在不同场景中的适应性和响应能力方面不断增强的能力。
2.3智能体的新兴能力
培养AI代理新技能和适应性
尽管交互式代理人工智能系统越来越多地被采用， 但大多数提出的方法在未见过的环境或场景中的泛化性能方面仍然面临挑战。 当前的建模实践要求开发人员为每个领域准备大型数据集以微调/预训练模型。
泛化性能（Generalization Performance）
类比你正在教一个小朋友学习数学。你给他看了几个简单的加法例子，比如2+2=4，3+3=6。然后，你问他5+5等于多少。如果这个小朋友能够回答出10，那么他就展现出了“泛化性能”。这意味着他不仅仅记住了你教的具体例子，还能够用这些知识去解决新的、类似的问题。
在人工智能领域，当我们说一个AI模型具有好的“泛化性能”，就是指这个模型能够将在训练数据上学到的知识应用到它从未见过的新情况上，就像小朋友能够用学过的加法规则去解决新的加法问题一样。
为了解决这个问题，研究者构建了交互式代理，利用通用基础模型（ChatGPT、Dall-E、GPT-4 等）的知识记忆来实现新场景，特别是在人类和代理之间生成协作空间。他们发现了一种新兴机制——将其命名为 混合现实与知识推理交互—— 它可以促进与人类的协作，以解决复杂的现实世界环境中的挑战性任务，并能够探索看不见的环境以适应虚拟现实。
混合现实与知识推理交互（Mixed Reality with Knowledge Inference Interaction）
1、混合现实（Mixed Reality）：想象一下你戴上了一个特殊的头盔，你既能看到现实世界中的东西，也能看到虚拟世界中的图像和物体，它们好像真的存在于你周围一样。这就是混合现实，它结合了现实世界和虚拟世界。2、知识推理交互（Knowledge Inference Interaction）：这是指AI系统能够理解和处理信息，就像人类使用知识和逻辑来解决问题一样。比如，如果你告诉AI“所有的猫都有尾巴”，然后问它“我的宠物有尾巴，它是猫吗？”一个能够进行知识推理的AI系统会根据你提供的信息来推断答案。
所以，“混合现实与知识推理交互”就是指AI系统能够在混合现实环境中理解和处理信息，就像人类在现实世界中使用知识和逻辑一样。
:: 03
Agent AI范式
在本节中， 论文将讨论用于训练 Agent AI 的新范例和框架，力求通过提出的框架实现几个目标：
1、利用现有的预训练模型和预训练策略，有效地引导AI代理有效理解重要的模式，例如文本或视觉输入。
2、支持AI代理有足够的长期任务规划能力。3、纳入一个记忆框架，允许AI代理对学到的知识进行编码并在以后检索。4、允许使用环境反馈来有效地训练代理以了解要采取哪些行动。
论文在图5中展示了一个高级新代理图，概述了此类系统的重要子模块。
图 5：论文提出的多模式通才代理的新代理范例。如图所示，主要有5个模块：1）环境与感知，包括任务规划和技能观察；2）代理学习；3）记忆；4）代理行动；5）认知。
3.1 LLMs和 VLM
利用大型语言和视觉模型增强Agent AI
我们可以使用LLM或VLM模型来引导Agent的组件，如图5所示。特别是， LLMs已被证明在任务规划方面表现良好，包含重要的世界知识，并表现出令人印象深刻的逻辑推理能力。最先进的开源多模态模型，依靠冻结的 CLIP 模型作为视觉编码器。
CLIP模型是“Contrastive Language-Image Pre-training Model”的缩写，它是一种大型多模态模型，通过对比学习的方式在大量图像和文本对上进行预训练，以学会理解和关联视觉内容和语言描述。CLIP模型能 够执行多种视觉-语言任务，如图像字幕生成、视觉问答和零样本分类等。
“Contrastive Language-Image Pre-training”指的是一种预训练方法，它通过对比学习的方式同时处理图像和语言数据，使模型能够学习到图像内容和相关文本描述之间的关联。CLIP模型通过这种方式能够理解图像中的内容，并将其与相应的语言描述相匹配，从而在多种视觉-语言任务中发挥作用，如图像字幕、视觉问答和跨模态检索等。
图 6：论文展示了通过将大型语言模型 ( LLM ) 与大型视觉模型 (LVM) 相结合来创建多模式 AI 代理的当前范例。一般来说，这些模型采用视觉或语言输入，并使用预先训练和冻结的视觉和语言模型，学习连接和桥接模式的较小子网络。
冻结（Frozen）
想象你在玩一个电子游戏，游戏里的某些角色是固定的，不能动。在人工智能的世界里，“冻结”就像这些固定的角色。当我们说一个模型的某些部分被“冻结”了，意味着这些部分在训练过程中不会改变，它们就像被固定住了一样，保持原样。
连接和桥接模式（connect and bridge modalities）
将不同的信息传递方式或者数据类型连接起来，使它们能够相互沟通和协作。这里的“模态”（modalities）指的是人们与计算机或者机器交流时使用的不同感官通道，比如视觉、听觉、触觉等。
当我们说“连接和桥接模态”时，我们指的是创建一个系统，这个系统能够将这些不同的模态融合在一起，以便它们可以互相补充和增强。例如：
在一个智能家居系统中，视觉模态（通过摄像头捕捉到的动作）和语言模态（通过语音助手接收的命令）可以被连接和桥接，以便系统能够更全面地理解用户的意图，并做出相应的响应。
在一个多模态学习环境中，视觉内容（如图表和图像）和语言内容（如解释性文本）可以被结合起来，以帮助学生更好地理解和记忆复杂的概念。
总的来说，“连接和桥接模态”是关于创造一个多模态交互的环境，其中不同的信息类型和感官输入被无缝地整合，以提供更丰富、更自然的用户体验。
3.2 Agent Transformer 的定义
除了将冻结的LLMs和 VLM 用于 AI 代理之外，还可以使用单代理Transformer模型，该模型将视觉标记和语言标记作为输入。除了视觉和语言之外，还添加了第三种通用输入类型，将其表示为代理令牌。
代理令牌（Agent Tokens）
想象一下，你有一个特别的盒子，你可以把你想要的任何东西的名字放进去，然后盒子就会帮你找到那个东西。在人工智能中，“代理令牌”就像是这样的盒子，它们是特殊的符号，代表特定的动作或指令，帮助模型理解和执行任务。
从概念上讲，代理令牌用于为代理行为保留模型输入和输出空间的特定子空间。 对于机器人或游戏来说，这可以表示为控制器的输入动作空间。 当训练代理使用特定工具（例如图像生成或图像编辑模型）或进行其他 API 调用时，也可以使用代理令牌。如图7所示，可以将代理标记与视觉和语言标记相结合，生成用于训练多模式代理人工智能的统一界面。
想象一下，你有一个魔法盒子，这个盒子有两个特殊的房间：一个输入室和一个输出室。这个魔法盒子就像是一个人工智能模型，它能够接收信息（输入）并给出回应（输出）。
1. **输入室（输入空间）**：这个房间负责接收所有进入魔法盒子的东西。比如，你可以把照片、声音或者文字放进去。这些就是模型的“输入空间”，它们是模型能够接收和理解的所有可能信息的集合。
2. **输出室（输出空间）**：这个房间负责产生魔法盒子的回应。比如，你放进去一个问题，这个房间就会给出一个答案。这些就是模型的“输出空间”，它们是模型能够产生和输出的所有可能回应的集合。
现在，让我们来聊聊“特定子空间”。在这两个房间中，我们可以划分出一些特别的区域来处理特定类型的信息。
- **特定子空间**：这就像在输入室和输出室中划分出的小隔间。比如，我们可以在输入室里设置一个专门接收文字的小隔间，在输出室里设置一个专门给出图片的小隔间。这样，当我们把文字放进去时，模型就知道要在这个特定的小隔间里处理这些文字，并在另一个特定的小隔间里给出图片作为回应。
在人工智能模型中，这些“特定子空间”帮助模型更有效地处理和生成特定类型的数据。比如，在一个聊天机器人中，模型可能有一个专门处理用户问题的小隔间（子空间），还有一个专门生成回答的小隔间。这样，模型就可以更准确地理解和回应用户的需求。
理解模型输入和输出空间的特定子空间
与使用大型专有LLMs作为代理相比，使用Agent Transformer有几个优点。首先， 该模型可以轻松定制为非常具体的代理任务，这些任务可能难以用自然语言表示（例如控制器输入或其他特定动作）。 因此，代理可以从环境交互和特定领域的数据中学习以提高性能。其次， 通过访问代理令牌的概率，可以更容易地理解模型为何采取或不采取特定行动。 第三， 医疗保健和法律等某些领域有严格的数据隐私要求。 最后，相对较小的Agent Transformer，可能 比较大的 专有语言模型便宜得多。
图 7：统一代理多模式变压器模型，没有连接冻结的子模块并使用现有的基础模型作为构建块， 而是为代理系统提出了一个统一的端到端训练范例。我们仍然可以使用LLMs和 LVM 初始化子模块，如图6所示，但也可以使用代理令牌，这是用于训练模型在特定领域（例如机器人）执行代理行为的专用令牌。
端到端训练（End-to-End Training）
这就像教你的小狗一个新把戏，从开始到结束都是连续的，不需要你中断训练去教它中间的步骤。在人工智能中，“端到端训练”意味着从输入数据到最终结果，整个系统一次性训练完成，不需要分开教每个部分。
3.3创建Agent Transformer
①定义域内的目标为了训练 Agent Transformer ，需要明确定义每个特定环境中代理的目标和行动空间。 这包括确定代理需要执行哪些特定任务或操作，并为每个任务或操作分配唯一的代理令牌。此外，任何可用于识别任务成功完成的自动规则或程序都可以显着提高可用于培训的数据量。否则，将需要基础模型生成的数据或人工注释的数据来训练模型。收集数据并可以评估代理的性能后，就可以开始持续改进的过程。
##### ②持续改进
持续监控模型的性能和收集反馈是该过程中的重要步骤。 反馈应用于进一步的微调和更新。确保模型不会延续偏见或不道德的结果也至关重要。这就需要仔细检查训练数据，定期检查输出中的偏差，并在需要时训练模型以识别和避免偏差。一旦模型达到令人满意的性能，就可以将其部署到预期的应用程序中。持续监控对于确保模型按预期运行并促进必要的调整仍然至关重要。
:: 04
Agent AI 如何学习？
4.1策略与机制
不同领域的交互式人工智能策略扩展了使用训练有素的代理调用大型基础模型的范式， 该代理主动寻求收集用户反馈、动作信息、生成和交互的有用知识。 有时，LLM /VLM 模型不需要再次训练，我们通过在测试时为代理提供改进的上下文提示来提高其性能。
另一方面， 它总是涉及通过三重系统组合进行知识/推理/常识/推理交互建模—— 一个从多模型查询中执行知识检索，第二个从相关代理中执行交互生成，最后一个是训练有素的模型。 新的、信息丰富的自我监督训练或预训练，采用强化学习或改进方式的模仿学习。
4.2代理系统（零样本和少样本级别）
4.2.1 代理模块（Agent Modules）
我们对代理范式的尝试涉及使用LLMs或 VLM 为交互式多模式代理开发代理 AI“模块”。最初的代理模块有利于培训或情境学习，并采用极简设计，以展示代理有效安排和协调的能力。研究者还探索了基于提示的初始记忆技术，以促进更好的规划并为该领域内的未来行动方法提供信息。为了说明这一点，“MindAgent”基础设施包括 5 个主要模块： 1）具有任务规划的环境感知，2）智能体学习，3）记忆，4）一般智能体动作预测和 5）认知，如图 5 所示。
4.2.2代理基础设施（Agent Infrastructure）
基于代理的人工智能是娱乐、研究和工业领域内一个庞大且快速发展的社区。 大型基础模型的发展显着提高了智能体人工智能系统的性能。然而，在这种情况下创建代理受到创建高质量数据集所需的不断增加的工作量和总体成本的限制。
在 Microsoft，通过使用先进的硬件、多样化的数据源和强大的软件库，构建高质量的代理基础架构对多模式代理副驾驶（multi-modal agent copilots）产生了重大影响。
想象一下，你正在开车进行一次长途旅行，而你的车里有一个超级智能的副驾驶。这个副驾驶不仅仅能帮你看路导航，还能听懂你说的话，看到你指的东西，甚至能读懂路标和交通标志。这就是一个“多模式代理副驾驶”。
副驾驶（Copilot）是一个辅助的角色，意味着这个智能系统是来帮助你的，而不是完全取代你。它可以提供建议，执行任务，或者在你的指导下工作。
“多模式代理副驾驶”在交互设计中的作用是提供一个能够理解和响应多种输入方式的智能助手，使得用户能够以最自然、最直观的方式与系统交互。例如：
- 在设计一个智能家居系统时，多模式代理副驾驶可以同时响应语音命令、手势控制和触摸屏操作，为用户提供一个无缝的交互体验。
- 在开发一个增强现实（AR）应用时，多模式代理副驾驶可以帮助用户理解他们所看到的内容，通过语音或视觉提示提供额外的信息，增强用户的体验。
总的来说，“多模式代理副驾驶”是交互设计中一个强大的工具，它通过整合多种感官输入和输出，为用户提供更加丰富和直观的交互体验。
理解多模式代理副驾驶
随着微软不断突破代理技术的界限，人工智能代理平台将在未来几年继续成为多模式智能领域的主导力量。尽管如此，智能体交互目前仍然是一个复杂的过程，需要多种技能的结合。大型生成式人工智能模型领域的最新进展有可能大大降低大型工作室目前交互式内容所需的高成本和时间，并让小型独立内容创作者能够设计出超越他们现有水平的高质量体验。目前有能力。 当前多模式代理内部的人机交互系统主要是基于规则的。它们确实具有响应人类/用户行为的智能行为，并在某种程度上拥有网络知识。
然而，这些交互通常受到软件开发成本的限制，无法在系统中实现特定行为。此外，当前的模型并不是为了在用户无法完成特定任务的情况下帮助人类实现目标而设计的。因此， 需要一个代理人工智能系统基础设施来分析用户行为并在需要时提供适当的支持。
4.3 Agentic 基础模型（预训练和微调级别）
使用预先训练的基础模型在跨不同用例的广泛适用性方面具有显着优势。 这些模型的集成使得能够为各种应用程序开发定制解决方案，从而避免了每个特定任务对大量标记数据集的需求。
导航领域的一个著名例子是 LM-Nav 系统，它以一种新颖的方法结合了 GPT-3 和 CLIP。 它有效地使用语言模型生成的文本地标，将它们锚定在机器人获取的图像中以进行导航。 该方法展示了文本和视觉数据的无缝融合，显着增强了机器人导航的能力，同时保持了广泛的适用性。
:: 05
Agent AI 有哪些类别？
5.1 多模式代理 (MMA)
大型基础模型和交互式人工智能领域的最新进展为遗传算法（Genetic Algorithm，简称GA）提供了新功能。然而，要使遗传算法对其用户真正有价值， 它必须能够自然地与广泛的上下文和模式进行交互并推广到广泛的上下文和模式。
大型基础模型和交互式人工智能领域的最新进展为 通才代理（GA）提供了新功能，例如 在受限环境中预测用户行为和任务规划，或为用户提供包含知识反馈的聊天伴侣， 例如，医疗保健系统的网站客户支持。
论文列出代表性代理类别的具体列表如下：
5.2实体代理
我们的生物思维生活在身体中，我们的身体在不断变化的世界中移动。 具身人工智能的目标是创建机器人等代理，它们能够学习创造性地解决需要与环境交互的挑战性任务。 虽然这是一个重大挑战，但深度学习的重要进步以及 ImageNet 等大型数据集的可用性不断提高，使得在以前认为难以处理的各种人工智能任务上实现了超人的表现。
计算机视觉、语音识别和自然语言处理在语言翻译和图像分类等被动输入输出任务中经历了变革性革命，而强化学习在游戏等交互任务中也同样取得了世界一流的性能。这些进步增强了具体人工智能的性能，使越来越多的用户能够在智能代理与机器交互方面取得快速进展。
5.2.1动作代理
动作智能体是指需要在模拟物理环境或现实世界中执行物理动作的智能体。 特别是，他们需要积极参与与环境相关的活动。我们根据动作代理的应用领域将动作代理大致分为两个不同的类别：游戏人工智能和机器人。
在游戏人工智能中，代理将与游戏环境和其他独立实体进行交互。 在这些设置中，自然语言可以实现代理和人类之间的顺畅沟通。根据游戏的不同，可能需要完成特定任务，提供真实的奖励信号。例如，在竞争性外交游戏中，使用人类对话数据训练语言模型以及强化学习的行动策略可以实现人类水平的游戏。
5.2.2交互代理
交互式代理简单地指的是可以与世界交互的代理，是比动作代理更广泛的一类代理。 他们的交互形式不一定需要物理动作，但可能涉及向用户传达信息或修改环境。例如，具体化的交互式代理可以通过对话回答用户关于某个主题的问题，或者帮助用户解析类似于聊天机器人的现有信息。通过扩展代理的功能以包括信息共享，Agent AI 的核心设计和算法可以有效地适应一系列应用，例如诊断和知识检索代理商。
5.3模拟和环境代理
人工智能代理学习如何在环境中行动的有效方法是通过与环境的交互来进行试错体验。 代表性方法是强化学习，它需要丰富的失败经验来训练智能体。尽管存在使用物理代理的方法，使用物理代理既耗时又昂贵。此外，当实际环境中的故障可能很危险时（例如自动驾驶、水下航行器），在物理环境中进行训练通常是可行的。因此，使用模拟器来学习策略是一种常见的方法。
5.4生成代理
大型生成人工智能模型领域的最新进展有可能大大降低大型游戏工作室目前交互式内容所需的高成本和时间， 并让小型独立工作室能够创造超越其现有水平的高质量体验。目前有能力。此外， 在沙箱环境中嵌入大型人工智能模型将允许用户创作自己的体验并以目前无法实现的方式表达他们的创造力。
该代理的目标不仅仅是向场景添加交互式 3D 内容，还包括：1、向对象添加任意行为和交互规则，允许用户在最少的提示下创建自己的 VR 规则。2、使用多模态 GPT4-v 模型以及涉及视觉 AI 模型的其他模型链，从纸上的草图生成整体几何图形3、使用扩散模型重新构造场景中的内容4、根据简单的用户提示创建自定义着色器和视觉特效短期内的一个潜在应用是 VR 创建故事板/原型工具，允许单个用户创建体验/游戏的粗略（但功能性）草图，速度比当前可行的速度快一个数量级。 这样的原型也可以使用这些工具进行扩展和改进。
5.4.1 AR/VR/混合现实代理
AR/VR/混合现实（统称为 XR）设置目前需要熟练的艺术家和动画师来创建角色、环境和对象，用于模拟虚拟世界中的交互。 这是一个成本高昂的过程，涉及概念艺术、3D 建模、纹理、绑定和动画。XR 代理可以通过促进创建者和构建工具之间的交互来协助此过程，以帮助构建最终的虚拟环境。
我们的早期实验已经证明，GPT 模型可以在 Unity 引擎内部的少镜头机制中使用（无需任何额外的微调）来调用特定于引擎的方法，使用 API 调用从互联网下载 3D 模型并放置将它们放入场景中，并将行为和动画的状态树分配给它们。出现这种行为的原因可能是使用 Unity 的开源游戏存储库中存在类似的代码。因此，GPT 模型能够通过简单的用户提示将许多对象加载到场景中来构建丰富的视觉场景。
此类代理的目标是构建一个平台和一组工具，在大型 AI 模型（GPT 系列模型以及扩散图像模型）和渲染引擎之间提供有效的接口。 我们在这里探索两个主要途径：
1、将大型模型集成到代理基础设施中的各种编辑器工具中，从而显着加快开发速度。2、通过生成遵循用户指令的代码，然后在运行时编译它，从用户体验中控制渲染引擎，允许用户以任意方式编辑他们正在交互的 VR/模拟，甚至通过引入新的代理机制。
引入专注于 XR 设置的 AI 副驾驶对于 XR 创作者来说非常有用，他们可以使用副驾驶完成繁琐的任务，例如提供简单的资产或编写代码样板，使创作者能够专注于他们的创意愿景并快速迭代想法。
此外，代理可以通过添加新资产、更改环境动态或构建新设置来帮助用户交互式修改环境。 这种运行时动态生成的形式也可以由创建者指定，使用户的体验感觉新鲜并随着时间的推移不断发展。
5.5知识和逻辑推理代理
推理和应用知识的能力是人类认知的一个决定性特征，在逻辑演绎和理解心理理论等复杂任务中尤其明显。对知识进行推断可确保人工智能的反应和行动符合已知事实和逻辑原则。这种一致性是维持人工智能系统信任和可靠性的关键机制， 特别是在医疗诊断或法律分析等关键应用中。 在这里，我们介绍了结合知识和推理之间相互作用的代理，解决了智能和推理的特定方面。
5.5.1知识代理
知识代理在两个方向上对他们获得的知识系统进行推理：隐式和显式。 内隐知识通常是大规模语言模型经过大量文本数据的训练后进行封装。这些模型可以生成给人以理解印象的响应，因为它们利用了训练期间隐式学习的模式和信息。相反，显性知识是结构化的，可以直接查询，例如知识库或数据库中的信息，传统上用于通过引用可验证的外部资源来增强人工智能推理能力。
尽管语言模型取得了进步，但它们的隐含知识是静态的，并且随着世界的发展而变得过时。这种限制需要集成不断更新的显式知识源，以确保人工智能系统能够提供准确且最新的响应。隐性和显性知识的融合使人工智能代理具有更细致的理解和根据上下文应用知识的能力，类似于人类智能。
这种集成对于构建以知识为中心的人工智能代理至关重要，这些代理不仅拥有信息，而且还可以理解、解释和使用信息，从而缩小广泛学习和深厚知识之间的鸿沟。这些代理旨在利用有关世界的灵活性和动态信息进行推理，从而增强其鲁棒性和适应性。
想象一下，你正在设计一个手机应用，这个应用可以帮助用户在不同的环境下拍照。 你希望这个应用无论在阳光明媚的海滩、昏暗的室内还是夜晚的街头都能很好地工作。这就是“鲁棒性”的一个实际应用。
：1. **定义**：在交互设计和人工智能领域，“鲁棒性”指的是一个系统、模型或应用在面对不同条件、意外情况或错误输入时，仍能保持稳定表现和正确输出的能力。
2. **为什么重要**：鲁棒性很重要，因为在现实世界中，用户的行为和环境条件往往是多变和不可预测的。一个鲁棒的系统能够适应这些变化，确保用户体验的连贯性和系统的可靠性。
3. **例子**：
- **语音识别**：一个鲁棒的语音识别系统应该能够理解不同口音、语速和背景噪音下的语音指令。
- **图像识别**：一个鲁棒的图像识别应用应该能够在不同的光照条件、角度和距离下识别物体。
- **用户界面**：一个鲁棒的用户界面应该能够适应不同设备、屏幕尺寸和操作系统。
4. **设计考虑**：在设计交互系统时，考虑鲁棒性意味着要测试和优化系统在各种极端和非典型情况下的表现。这可能包括：
- **错误处理**：确保系统能够优雅地处理错误和异常情况。
- **用户输入验证**：确保系统能够处理无效或不完整的用户输入。
- **适应性**：设计能够自动调整以适应不同用户需求和环境变化的系统。
简而言之，“鲁棒性”就是确保你的设计能够在各种情况下都能正常工作，就像一个经验丰富的司机，无论道路多么崎岖，都能平稳驾驶。这对于创建可靠、用户友好的交互体验至关重要。
理解鲁棒性（Robustness）
5.5.2逻辑代理
一般来说，逻辑代理是设计用于应用逻辑推理来处理数据或解决特定于逻辑推理或逻辑推理的任务的系统的组件。 GPT-4 等大型基础模型中的逻辑代理是指设计用于处理逻辑推理任务的专用组件或子模块。这些任务通常涉及理解和操作抽象概念、从给定前提推导出结论或解决需要结构化、逻辑方法的问题。
广泛而言，像 GPT-4 这样的基础模型是在大量文本数据上进行训练的，并学习执行各种任务，包括那些需要某种形式的逻辑推理的任务。因此，它们的逻辑推理能力被集成到整体架构中，并且它们通常不具有独特的、孤立的“逻辑代理”。虽然 GPT-4 和类似模型可以执行涉及逻辑的任务，但它们的方法与人类或传统基于逻辑的系统的操作方式有根本不同。 他们不遵循正式的逻辑规则或对逻辑有明确的理解；相反，它们根据从训练数据中学到的模式生成响应。
因此，它们在逻辑任务中的表现可能令人印象深刻，但也可能不一致或受到训练数据的性质和模型设计的固有限制的限制。
5.5.3情感推理代理
情感理解和同理心是智能体在许多人机交互中的重要技能。 举例来说， 创建引人入胜的对话代理的一个重要目标是让代理以增强的情感和同理心行事，同时最大限度地减少社交不当或冒犯性的输出。 为了推进对话代理的这一目标，研究者发布了具有同理心的神经图像评论（ NICE ）数据集，由近两百万张图像以及相应的人类生成的评论和一组人类情感注释组成。
研究者还提供了一种新颖的预训练模型 - Modeling Affect Gneration for Image Comments ( MAGIC ) - 旨在生成对图像的评论，以捕获风格和影响的语言表示为条件，并帮助生成更具同理心、情感、吸引力和社会适当性的评论。 实验表明，该方法可以有效地训练出更加人性化且更具吸引力的图像评论代理。 开发具有同理心意识的智能体是交互智能体的一个有前途的方向， 并且创建具有跨广泛群体和人群的情感理解能力的智能体非常重要，特别是考虑到许多当前的语言模型在情感理解和同理心推理能力方面表现出偏差 。
5.5.4神经符号代理
神经符号代理在神经元和符号的混合系统上运行。 解决用自然语言表述的问题是一项具有挑战性的任务，因为它需要显式捕获输入中隐含的离散符号结构信息。然而，大多数通用神经序列模型并没有明确捕获此类结构信息，从而限制了它们在这些任务上的性能。研究者提出了一种基于结构化神经表示代理的新编码器-解码器模型，TP-N2F的编码器采用TPR“绑定”来编码向量空间中的自然语言符号结构，解码器使用TPR“解绑定”来生成，在符号空间中，由关系元组表示的顺序程序，每个元组由一个关系（或操作）和多个参数组成。
想象一下，你有一个智能助手，它不仅能够理解你说的话（比如“明天的天气怎么样？”），还能够理解你给它看的图片（比如一张你想去的餐厅的照片）。这个助手需要用到两种不同的“语言”来理解世界：一种是数字和计算的语言，另一种是符号和逻辑的语言。
1. **神经**：这部分指的是“神经网络”，这是一种模仿人脑工作的计算系统。它能够处理大量的数据，比如图片和声音，然后从中找出模式和规律。就像我们的大脑能够识别出猫和狗的不同，神经网络也能从图片中识别出不同的物体。
2. **符号**：这部分指的是“符号逻辑”，这是一种用符号和规则来表示和处理信息的方法。它更接近于我们通常使用的逻辑和推理，比如“如果下雨，我就带伞”。
所以，“神经符号代理”就是一种结合了神经网络和符号逻辑的智能系统。它既能处理复杂的数据，又能进行逻辑推理，这样就能更好地理解和响应用户的需求。比如，当你给这个代理看一张餐厅的照片，并问它“这家餐厅在哪里？”时，它不仅能识别出照片里的餐厅，还能根据逻辑推理出餐厅的位置，并告诉你答案。
这种结合了神经网络的感知能力和符号逻辑的推理能力的代理，使得交互设计更加智能和灵活，能够处理更复杂的任务和场景。
理解神经符号代理（Neuro-Symbolic Agents）
5.6 LLMs和 VLM 代理
许多工作利用LLMs作为代理来执行任务规划，并利用LLMs的大型互联网扩展领域知识和零样本规划能力来执行规划和推理等代理任务。 最近的机器人研究还利用LLMs来执行任务规划，将自然语言指令分解为一系列子任务，无论是自然语言形式还是在Python代码中，然后使用低级控制器来执行这些子任务。
此外，研究者还纳入环境反馈来提高任务绩效。还有许多工作证明了在大规模文本、图像和视频数据上训练的通用视觉对齐大型语言模型的能力，可以作为创建可具体化和可实现的多模式代理的基础。在各种环境中行动。
:: 06
Agent AI 可做哪些应用任务？
图 8：通过 GPT-4V 通过 Minecraft Dungeons 游戏感觉模拟和生成进行用户交互式游戏动作预测和交互式编辑的具体代理。
6.1游戏代理
游戏提供了一个独特的沙箱来测试LLMs和 VLM 的代理行为，突破他们的协作和决策能力的界限。 研究者特别描述了三个领域，这些领域强调了智能体与人类玩家和其他智能体交互的能力，以及他们在环境中采取有意义的行动的能力。
6.1.1 NPC行为
在现代游戏系统中，非玩家角色 (NPC) 的行为主要由开发人员制作的预定义脚本决定。 这些脚本包含基于游戏环境中的各种触发器或玩家操作的一系列反应和交互。然而，这种脚本性质通常会导致可预测或重复的 NPC 行为，而这些行为无法响应玩家的行为或游戏的动态环境而演变。这种刚性阻碍了动态游戏环境中的沉浸式体验。因此，人们越来越有兴趣利用LLMs来诱导 NPC 行为的自主性和适应性，从而使互动更加细致和有吸引力。
AI 驱动的 NPC 可以从玩家行为中学习，适应不同的策略，并提供更具挑战性和更难以预测的游戏体验。 大型语言模型 ( LLMs ) 可以极大地促进游戏中 NPC 行为的演变。通过处理大量文本， LLMs可以学习模式并生成更加多样化和类似人类的响应。它们可用于创建动态对话系统，使与 NPC 的互动更具吸引力且更难以预测。此外， LLMs可以接受玩家反馈和游戏数据的培训，以不断完善 NPC 行为，使他们更加适应玩家的期望和游戏动态。
6.1.2人与NPC交互
人类玩家和 NPC 之间的互动是游戏体验的一个重要方面。 传统的交互范例主要是一维的，NPC 以预设的方式对玩家的输入做出反应。这种限制扼杀了更有机、更丰富的交互的潜力，类似于虚拟领域中的人与人的交互。 LLM和 VLM 技术的出现有望改变这种范式。通过采用这些技术，游戏系统可以分析和学习人类行为，以提供更加人性化的交互。 这不仅增强了游戏的真实感和参与度，而且还提供了一个在受控但复杂的环境中探索和理解人机交互的平台。
图 9： 当提示中给出“动作历史记录”和“游戏目标”时，GPT-4V 可以有效地预测高级下一步动作。 此外，GPT-4V 准确地识别出玩家手中拿着木头，并可以将这种感知到的信息纳入其未来行动的计划中。尽管 GPT-4V 似乎能够预测一些低级动作（例如按“E”打开库存），但该模型的输出本质上并不适合原始低级动作预测（包括鼠标移动），并且可能需要用于低级动作控制的补充模块。
6.1.3 基于代理的博弈分析
游戏是日常生活中不可或缺的一部分，估计世界上一半的人口都参与游戏。此外，它还对心理健康产生积极影响。然而，当代游戏系统在与人类玩家的互动方面表现出缺陷，因为他们的行为主要是由游戏开发者手工制作的。这些预先编程的行为常常无法适应玩家的需求。 因此，游戏中需要新的人工智能系统来分析玩家行为并在必要时提供适当的支持。 智能交互系统有可能彻底改变游戏玩家与游戏系统的交互方式。 NPC与游戏玩家的互动不再受到游戏开发商设计的限制规则的限制。它们有潜力无缝适应游戏玩家的体验，提供及时的反馈以丰富游戏体验并提升人机交互的协同作用。
LLMs可以作为分析游戏内文本数据的强大工具，包括聊天日志、玩家反馈和叙述内容。它们可以帮助识别玩家行为、偏好和交互的模式，这对于游戏开发者改进游戏机制和叙述非常有价值。此外，VLM 可以解析游戏会话中的大量图像和视频数据，以帮助分析游戏世界中的用户意图和操作。
此外， LLMs和 VLM 可以促进游戏中智能代理的开发， 这些智能代理可以以复杂且类似人类的方式与玩家和其他代理进行通信，从而增强整体游戏体验。 除了LLMs和 VLM 之外，用户输入数据还为创建游戏代理提供了一条有前途的途径，这些代理通过模仿人类玩家来模拟感知、游戏玩法和游戏理解。 通过结合玩家交互和反馈、像素输入以及自然语言规划和理解，代理模型可以帮助不断改进游戏动态，推动游戏环境更加以玩家为中心的演变。
6.1.4 游戏场景合成
图 10：对未见过的 Minecraft 视频进行屏蔽视频预测。从左到右：原始帧、蒙版帧、重建帧和带有补丁的重建帧。
场景合成是创建和增强沉浸式游戏环境的重要组成部分。 它需要在游戏中自动或半自动生成三维 (3D) 场景和环境。这个过程包括生成地形、放置对象、创建逼真的照明，有时甚至包括动态天气系统。
现代游戏通常具有广阔的开放世界环境。手动设计这些景观可能非常耗时且耗费资源。自动地形生成通常利用程序或人工智能驱动的技术，可以用更少的手动工作生成复杂、逼真的景观。LLMs和 VLM 可以利用互联网规模的知识来制定规则，以设计在视觉上令人印象深刻且独特的非重复景观。此外， LLMs和 VLM 可用于确保生成资产的语义一致性和可变性。 以逼真且美观的方式将建筑物、植被和其他元素等物体放置在场景中对于沉浸感至关重要。
图 11： 《我的世界》游戏场景中使用小代理预训练模型进行的低级下一步动作预测。
VLM 和LLMs可以通过遵守预定义或学习的规则和美学来协助对象放置，从而加快关卡设计过程。 VLM 和LLMs可以接受进一步培训，以了解设计和美学的原理，从而帮助内容的程序生成。它们可以帮助制定程序算法可以遵循的规则或指南来生成既具有视觉吸引力又适合上下文的对象和场景。
逼真的灯光和氛围效果是创建可信且引人入胜的游戏环境的基础。先进的算法可以模拟自然光照条件和动态天气效果，增强场景的真实感和情绪。LLMs可以帮助开发系统，以多种创新方式实现更真实的照明和大气效果。VLM 可以分析来自现实世界照明和大气条件的大量数据集，以帮助开发更真实的算法来模拟游戏中的这些效果。
通过了解自然光照和天气的模式和复杂性，这些模型可以有助于开发密切模仿现实的算法。 LLMs和 VLM 还可用于开发根据玩家动作、游戏状态或外部输入实时调整光照和大气效果的系统。它们可以处理玩家的自然语言命令来修改游戏环境，提供更具互动性和身临其境的体验。
6.2 机器人技术
机器人是需要与其环境进行有效交互的代表性代理。 在本节中，论文了介绍高效机器人操作所必需的关键要素，回顾应用最新LLM /VLM 技术的研究主题，并分享了最新研究的结果。
6.2.1 LLM /VLM 机器人代理
多模态系统： 最近的研究一直积极关注开发端到端系统，该系统结合了最新的LLM和 VLM 技术作为输入信息的编码器。特别是，修改这些基础模型以处理多模态信息是一个显着的趋势。这种适应旨在基于语言指令和视觉提示来指导机器人动作，从而实现有效的体现。
任务规划和技能培训： 与端到端系统相比，基于任务和运动规划（TAMP）的系统首先计算高级任务计划，然后通过低级机器人控制（称为技能）来实现它们。
现场优化： 由于意外和不可预测的环境条件，执行机器人技术中的长任务步骤可能会很困难。因此，机器人领域的一个重大挑战涉及通过将任务计划与实时环境数据相结合来动态调整和完善机器人技能。
对话代理： 在创建对话机器人时， LLMs可以有助于与人类进行自然的、上下文敏感的交互。这些模型处理并生成模仿人类对话的响应，使机器人能够参与有意义的对话，有助于理解人类意图和生成有意义的手势，从而有助于人机交流的自然性和有效性。
导航代理： 机器人导航有着悠久的研究历史，例如基于地图的路径规划和用于创建环境地图的同步定位和建图（SLAM）。这些功能已成为广泛使用的机器人中间件的标准配置，例如机器人操作系统 (ROS)。
基础模型的出现通过增强对人类语言指令的理解和对环境信息的视觉解释，有助于这种自适应、动态导航技术的发展。
6.3 医疗保健
在医疗保健领域， LLMs和 VLM 可以充当诊断代理、患者护理助理，甚至治疗辅助人员。 人工智能代理在改善患者护理和拯救生命方面具有巨大潜力，但同样危险的可能性是，它们的滥用或仓促部署可能会危及全世界数以千计或数百万人的安全。论文讨论了人工智能代理在医疗保健背景下的一些有前景的路线。
##### 诊断代理
由于对医学专家的高需求以及LLMs在帮助对患者进行分类和诊断方面的潜力，使用LLMs作为患者诊断的医疗聊天机器人最近引起了极大的关注。
对话代理，特别是那些能够有效地向来自不同患者群体的广泛人群传达重要医疗信息的对话代理，有可能为历史上处于不利地位或边缘化的群体提供公平的医疗服务。 此外，世界卫生组织和世界银行（2015）指出，世界各地的医生和医疗保健系统在很大程度上负担过重且资源不足，导致全世界数亿人无法充分获得医疗服务。诊断代理为改善数百万人的医疗保健提供了一条特别有利的途径，因为它们可以理解多种语言、文化和健康状况。
##### 知识检索代理
在医学背景下，模型幻觉特别危险，甚至可能导致患者严重伤害或死亡，具体取决于错误的严重程度。
例如，如果患者错误地接受了表明他们没有实际患有的疾病的诊断，则可能会导致灾难性的结果。其中包括推迟或不适当的治疗，或者在某些情况下，完全缺乏必要的医疗干预。未诊断或误诊的病情严重性可能会导致医疗费用增加，延长治疗时间会造成进一步的身体压力，在极端情况下，会造成严重伤害甚至死亡。
因此，可以使用代理更可靠地检索知识的方法或以基于检索的方式生成文本是有希望的方向。 将诊断代理与医学知识检索代理配对有可能显着减少幻觉，同时提高诊断对话代理响应的质量和准确性。
##### 远程医疗和远程监控
基于代理的人工智能在远程医疗和远程监控领域也具有巨大潜力，可以改善医疗保健的获取、改善医疗保健提供者和患者之间的沟通，以及提高效率并降低频繁医患互动的成本。
初级保健临床医生花费大量时间筛选患者消息、报告和电子邮件，这些内容通常与他们无关或不必要查看。支持代理可以帮助对来自医生、患者和其他医疗保健提供者的信息进行分类，并帮助向各方强调重要信息，具有巨大的潜力。 通过使代理人工智能系统能够与患者、临床医生和其他人工智能代理进行协调，远程医疗和数字医疗行业具有巨大的变革潜力。
图 19：在医疗保健图像理解领域使用 GPT-4V 时的示例提示和响应。从左到右：(1) 护士和医生进行 CT 扫描的图像，(2) 不规则心电图扫描的合成图像，以及 (3)皮肤病变数据集。我们可以看到，GPT-4V 拥有丰富的医学知识，并且能够对医学图像进行推理。但由于安全培训原因，无法对部分医学图像进行诊断。
图 20：在医疗保健视频理解领域使用 GPT-4V 时的示例提示和响应。在前两个示例中，研究者提示 GPT-4V 检查视频中的帧，以检测对志愿者患者进行的临床床边活动。对于最后一个示例，研究者尝试提示 GPT-4V 评估超声心动图视频，但是由于 GPT-4V 的安全培训，它没有提供详细的响应。为了清楚起见，研究者将描述感兴趣的活动的文本加粗，并缩写不必要的模型响应。我们将个人的面孔变灰以保护他们的隐私。
6.4 多模态代理
图 21：交互式多模态代理包括四个主要支柱：交互、语音、视觉和语言。
副驾驶代理由不同的服务组成——1）交互服务有助于打造自动化行动、认知和决策的统一平台。2) 音频服务将音频和语音处理集成到应用程序和服务中。3) 视觉服务识别和分析图像、视频和数字墨水中的内容。4) 语言服务从结构化和非结构化文本中提取含义。
视觉和语言理解的整合对于开发复杂的多模式人工智能代理至关重要。 这包括图像字幕、视觉问答、视频语言生成和视频理解等任务。 研究者的目标是深入研究这些视觉语言任务，探索它们在人工智能代理背景下呈现的排行榜和机会。
......限于篇幅，完整论文内容请查阅论文原文