新手福音：参照openclaw官网，用快马生成你的第一个网页项目

本文系统综述了AI Agent架构的发展概况分析了单智能体与多智能体系统在推理、规划和工具调用方面的特点与优势。

文章详细介绍了ReAct、RAISE、Reflexion等单智能体架构以及垂直和水平多智能体架构探讨了角色定义、反馈机制、信息共享等关键因素。

尽管AI Agent在处理复杂任务方面展现出强大潜力但仍面临评估标准不统

现实场景适应性等挑战未来研究将聚焦于提升系统可靠性和减少偏见。

背景介绍自从ChatGPT发布以来第一波生成式AI应用大多是基于“检索增强生成”Retrieval Augmented Generation简写为RAG模式通过聊天界面与文档语料库进行交互。

尽管目前众多研究正致力于提高RAG系统的稳健性但研究者们也在积极探索下一代AI应用的开发其中AI Agent技术成为了一个共同关注的焦点。

与以往大语言模型Large Language ModelLLM的零样本提示zero-shot prompting相比AI Agent允许用户进行更为复杂的交互和任务协调。

AI Agent系统内置了规划、循环、反思等控制机制这些机制充分利用了模型的内在推理能力以实现从任务开始到结束的全流程处理。

此外AI Agent还能够调用工具、插件和执行函数这使得它们能够胜任更多通用性的工作。

目前学术界对于在解决复杂任务时是单智能体系统还是多智能体系统更为有效存在一定的讨论。

单智能体架构在处理那些定义清晰、无需其他智能体角色或用户反馈的任务时表现出了其优势。

相对地多智能体架构则在需要多方协作和能够采取多条执行路径的情况下展现出其独特的优势。

AI Agent智能体的分类智能体AgentsAI Agent是受语言模型驱动的实体能够规划并在多次迭代中采取行动以执行目标。

智能体架构可以由一个单智能体组成或者由多个智能体协作解决问题。

通常每个智能体都被赋予一个角色个性persona和访问各种工具的权限这些工具将帮助它们独立或作为团队的一部分完成工作。

一些智能体还包含一个记忆组件可以在消息和提示之外保存和加载信息。

在本文中我们遵循包含“大脑、感知和行动”三个部分的智能体定义。

这些组成部分满足了智能体理解、推理并对其周围环境采取行动的最低要求。

【拓展延伸】我在之前的文章中介绍过的智能体/智能体平台包括ChatGPT的GPT StoreGPTs字节跳动的Coze和扣子以及月之暗面的Kimi和百度的文心智能体平台。

这些平台初期走的都是单智能体single-agent的路线即由一个独立的智能体完成一项特定的任务。

后来GPTs和Kimi推出了在对话过程中以的形式使用其他智能体的功能这便是当前多智能体multi-agent的雏形。

智能体角色个性Agent Persona智能体角色个性描述了智能体应该扮演的角色或个性包括任何特定于该智能体的其他指令。

角色个性还包含智能体可以访问的任何工具的描述。

它们使智能体意识到自己的角色、工具的目的以及如何有效利用它们。

研究人员发现“塑造的个性确实影响了大型语言模型LLM在常见下游任务例如撰写社交媒体帖子中的行为”。

与让模型逐步分解其计划的链式思考CoT相比使用多个智能体角色来解决问题的方案也表现出了显著的改进。

工具Tools在AI智能体的背景下工具代表模型可以调用的任何功能。

它们允许智能体通过拉取或推送信息与外部数据源进行交互。

以专业合同撰写智能体为例该智能体被赋予了一个明确的角色个性详细说明了撰写者的角色定位以及其需要完成的各类任务。

此外为了辅助合同撰写智能体更高效地工作还为其配备了一系列的工具。

这些工具包括但不限于在文档中添加注释的功能、阅读和理解现有文档内容的能力以及发送包含最终草稿的电子邮件的工具。

通过这些工具智能体能够在执行合同撰写任务时更加灵活和专业。

【拓展延伸】在GPTs或Coze/扣子创建个性化的智能体时你可以自定义该智能体所需用到的插件plugin以增强智能体的能力。

这些插件都是上面提到的智能体的工具。

单智能体架构Single Agent Architectures这些架构由一个语言模型驱动将独立完成所有的推理、规划和工具执行。

智能体被赋予一个系统提示和完成其任务所需的任何工具。

在单智能体模式中没有来自其他AI智能体的反馈机制然而可能有人提供反馈以指导智能体的选项。

多智能体架构Multi-Agent Architectures这些架构涉及两个或更多的智能体每个智能体可以使用相同的语言模型或一组不同的语言模型。

智能体可能可以访问相同的工具或不同的工具。

每个智能体通常都有自己的角色个性。

多智能体架构可以在任何复杂性级别上拥有广泛的组织形式。

在该论文中研究人员将它们分为两个主要类别垂直和水平。

值得一提的是这些类别代表了一个范围的两端大多数现有的架构位于这两个极端之间。

垂直架构Vertical Architectures在这种结构中一个智能体充当领导者其他智能体直接向其报告。

根据架构的不同报告智能体可能只与领导智能体通信。

或者领导者可以定义为所有智能体之间的共享对话。

垂直架构的定义特征包括有一个领导智能体和清晰的分工。

水平架构Horizontal Architectures在这种结构中所有智能体都被视为平等的并且是关于任务的一个群组讨论的一部分。

智能体之间的通信发生在一个共享的线程中每个智能体都可以看到其他智能体的所有消息。

智能体也可以自愿完成特定任务或调用工具这意味着它们不需要由领导智能体分配。

水平架构通常用于协作、反馈和组讨论对任务总体成功至关重要的任务。

关键考量打造有效的AI AgentAI Agent旨在扩展语言模型的能力以解决现实世界的任务。

成功的实现需要强大的问题解决能力使Agent能够在新任务上表现出色。

为此Agent需要具备推理和规划的能力以及调用与外部环境互动的工具。

推理和规划的重要性推理是构成人类认知的基础它赋予我们决策、问题解决以及理解周围世界的能力。

AI Agent若想要在复杂环境中有效互动、自主做出决策并在多样化的任务中为人类提供帮助强大的推理能力是不可或缺的。

这种“行动”与“推理”的紧密结合不仅让智能体能够迅速掌握新任务即便在面对未知情境或信息不明确时也能做出稳健的决策和推理。

此外智能体还需依赖推理能力以便根据新的反馈或所学信息来调整它们的计划。

缺乏推理能力的智能体在执行直接任务时可能会误解指令、仅基于字面意思做出响应或未能预见多步骤行动的后果。

规划是推理能力的另一重要应用通常涉及五种主要方法任务分解、多计划选择、外部模块辅助规划、反思与改进以及记忆增强规划。

这些方法使得智能体能够将复杂任务细分为子任务、从多个候选计划中做出选择、利用现有的外部计划、根据新信息更新旧计划或借助外部信息来优化计划。

大多数智能体模型在采取行动前都有一个专门的规划步骤通过运用这些技术中的一个或多个来制定行动计划。

例如“像图一样计划”Plan Like a GraphPLaG方法通过将计划视作有向图允许多个步骤并行执行这在处理包含许多独立子任务的复杂问题时相比其他方法能显著提升性能。

有效调用工具的重要性与基础语言模型的直接提示相比AI Agent的抽象层次更关键地体现在它们能够调用多种工具来解决复杂问题。

这些工具赋予了智能体与外部数据源进行交互的能力如通过API发送或检索信息。

通常需要大量工具调用的问题往往也伴随着对复杂推理的需求。

无论是单智能体还是多智能体架构都可以通过结合推理和工具调用步骤来应对具有挑战性的任务。

在解决这些问题时智能体通常需要经过多次的推理、记忆和反思迭代以确保问题解决的有效性和准确性。

它们通过将大问题分解为一系列小的子问题然后顺序使用合适的工具来解决每个子问题。

此外多智能体模式特别擅长处理需要并行处理和高稳健性的复杂任务因为每个智能体都能够独立地处理自己的子问题。

在多智能体模式中通常首先将一个复杂的大问题分解为若干较小的任务然后每个智能体利用自己独立的工具集来解决这些任务。

这种方法不仅提高了问题解决的效率也增强了系统的灵活性和稳健性。

单智能体架构Single Agent Architectures对于单智能体每种方法在采取行动之前都专门设有一个针对问题进行推理的阶段。

研究人员根据智能体推理和工具调用能力选择了ReAct、RAISE、Reflexion、AutoGPT P和LATS这几种单智能体架构进行讨论。

研究发现智能体成功执行目标任务取决于适当的规划和自我修正。

没有自我评估和制定有效计划的能力单智能体可能会陷入无尽的执行循环无法完成给定任务或返回不符合用户期望的结果。

当任务需要直接的方法调用且不需要来自另一个智能体的反馈时单智能体架构特别有用。

ReActReAct推理行动方法是一种让智能体首先针对特定任务形成思考然后基于这些思考执行动作并观察结果的过程。

这种方法在多样化的语言和决策任务中相比传统的零样本提示zero-shot prompting展现出更高的有效性因为模型的整个思考过程都被记录下来了从而提高了模型的可信度和人类的互操作性。

在HotpotQA数据集上的评估中ReAct方法的幻觉率仅为6%而使用链式思考CoT方法的幻觉率为14%。

然而ReAct方法也有其局限性尤其是在模型可能会重复生成相同的想法和行动而未能产生新想法来完成任务时。

在任务执行过程中引入人类反馈可能会增强其有效性并提高在现实世界场景中的适用性。

RAISERAISE方法在ReAct方法的基础上增加了模拟人类短期和长期记忆的记忆机制通过使用临时存储和长期存储的以往类似案例数据集来实现。

这些组件的添加提升了智能体在较长对话中保持上下文的能力并且通过微调模型即使使用较小的模型也能获得最佳性能展现了在效率和输出质量上超越ReAct的优势。

尽管RAISE在某些方面显著改进了现有方法但它在理解复杂逻辑方面存在挑战限制了其在多种场景下的实用性。

此外RAISE智能体在其角色或知识方面经常出现幻觉例如一个没有明确角色定义的销售智能体可能会开始编写Python代码而不是专注于其销售任务有时还可能向用户提供误导性或错误的信息。

尽管通过微调模型解决了一些问题但幻觉仍是RAISE实现的一个限制。

ReflexionReflexion是一种单智能体模式它通过语言反馈实现自我反思利用成功状态、当前轨迹和持久记忆等指标结合大语言模型评估器为智能体提供具体的反馈从而提高了成功率并减少了与链式思考CoT和ReAct方法相比的幻觉发生。

尽管Reflexion在某些方面取得了进步但它也有局限性包括容易陷入非最优的局部最小解以及使用滑动窗口而非数据库来处理长期记忆这限制了长期记忆的容量。

此外尽管Reflexion在性能上超越了其他单智能体模式但在需要大量多样性、探索和推理的任务上仍有提升性能的空间。

AutoGPT PAutoGPT PPlanning规划是一种旨在解决用自然语言指挥机器人的智能体在推理方面的限制的方法。

它结合了对象检测、对象可利用性映射OAM以及由大语言模型驱动的规划系统使智能体能够探索环境中缺失的对象、提出替代方案或请求用户协助以实现目标。

AutoGPT P首先利用场景图像来检测物体然后语言模型根据这些物体从四种工具中选择使用计划工具、部分计划工具、建议替代方案工具和探索工具。

这些工具不仅允许机器人生成完成目标的完整计划还能够探索环境、做出假设并创建部分计划。

然而语言模型并非完全独立生成计划。

它与一个经典规划器协作生成目标和步骤后者使用规划领域定义语言PDDL执行计划。

研究发现大语言模型目前还无法直接将自然语言指令转换为执行机器人任务的计划主要是因为它们的推理能力受限。

通过将LLM的规划能力与经典规划器相结合该方法显著改进了其他纯粹基于语言模型的机器人规划方法。

尽管如此AutoGPT P作为一种新兴方法也存在一些缺点包括工具选择的准确性不一有时可能会不恰当地调用某些工具或陷入循环。

在需要探索的场景中工具选择有时会导致不合逻辑的探索决策例如在错误的地方寻找对象。

此外该框架在人类交互方面也存在限制智能体无法寻求澄清用户也无法在执行期间修改或终止计划。

LATSLanguage Agent Tree SearchLATS是一种单智能体架构它通过使用树结构来协同规划、行动和推理。

这种技术受到蒙特卡洛树搜索的启发将状态表示为节点而采取行动则视为在节点之间的遍历。

LATS使用基于语言模型的启发式方法来搜索可能的选项然后利用状态评估器来选择行动。

与其他基于树的方法相比LATS实现了自我反思的推理步骤显著提升了性能。

当采取行动后LATS不仅利用环境反馈还结合来自语言模型的反馈以判断推理中是否存在错误并提出替代方案。

这种自我反思的能力与其强大的搜索算法相结合使得LATS在执行各种任务时表现出色。

然而由于算法本身的复杂性以及涉及的反思步骤LATS通常比其他单智能体方法使用更多的计算资源并且完成任务所需的时间更长。

此外尽管LATS在相对简单的问答基准测试中表现良好但它尚未在涉及工具调用或复杂推理的更复杂场景中得到测试和验证。

这意味着尽管LATS在理论上具有强大的潜力但在实际应用中可能需要进一步的调整和优化。

多智能体架构Multi Agent Architectures多智能体架构通过智能体之间的通信和协作计划执行来实现目标为基于技能的智能体分工和来自多样智能体角色的有益反馈提供了机会。

这些架构通常按阶段工作智能体团队在每个规划、执行和评估阶段动态地创建和重组。

这种重组通过为特定任务分配专门的智能体并在不再需要时将其移除实现了更优的结果。

通过将智能体的角色和技能与手头任务相匹配智能体团队能够提高准确性并缩短达成目标的时间。

有效的多智能体架构的关键特性包括智能体团队中的清晰领导、动态团队构建以及团队成员之间的有效信息共享以确保重要信息不会在无关的闲聊中丢失。

在多智能体系统的背景下研究和框架如“Embodied LLM Agents Learn to Cooperate in Organized Teams”、DyLAN、AgentVerse和MetaGPT展示了如何通过智能体间的协作来促进目标的执行。

这些方法旨在广泛覆盖与多智能体模式相关的关键主题和示例。

通过智能体之间的协作和角色分配这些架构能够更高效地处理复杂任务同时减少完成任务所需的时间和提高整体准确性。

Embodied LLM Agents Learn to Cooperate in Organized Teams在Xudong Guo等人的另一个研究中发现领导智能体对于提升多智能体架构的表现至关重要。

该架构通过设置一个领导智能体来实现垂直管理同时允许智能体之间进行水平沟通即除了与领导智能体交流外智能体们还能相互之间直接交换信息。

研究发现有组织领导的智能体团队完成任务的速度比没有领导的团队快近10%。

此外他们发现在没有指定领导的团队中智能体大部分时间都在相互下达指令约占沟通的50%其余时间则用于分享信息或请求指导。

相反在有指定领导的团队中领导的60%沟通涉及给出方向促使其他成员更多地专注于交换和请求信息。

结果表明当领导是人类时智能体团队最为有效。

除了团队结构之外研究强调采用“批评-反思”步骤的重要性用于生成计划、评估表现、提供反馈和重组团队。

他们的结果表明具有动态团队结构和轮流领导的智能体在任务完成时间和平均沟通成本上都提供了最佳结果。

最终领导力和动态团队结构提高了团队整体的推理、规划和执行任务的能力。

DyLANDyLANDynamic LLM-Agent Network动态LLM-智能体网络框架构建了一个专注于复杂任务如推理和代码生成的动态智能体结构。

该框架通过评估每个智能体在上一轮工作中的贡献度并仅将贡献最多的智能体带入下一轮执行从而实现了一种水平式的工作模式即智能体之间可以相互共享信息而无需一个明确的领导者。

DyLAN在多种衡量算术和一般推理能力的基准测试上展现了提升的性能这突显了动态团队的重要性并证明了通过持续地重新评估和排名智能体的贡献能够构建出更适合完成特定任务的多智能体团队。

AgentVerseAgentVerse是一种多智能体架构它通过明确的团队规划来提升AI Agent的推理和问题解决能力。

AgentVerse将任务执行划分为招聘、协作决策制定、独立行动执行和评估四个主要阶段这些阶段可以根据目标的进展情况重复进行直至最终目标达成。

通过严格定义每个阶段AgentVerse引导智能体集合更有效地进行推理、讨论和执行。

例如在招聘阶段智能体会根据目标进展情况被添加或移除确保在问题解决的任何阶段都有合适的智能体参与。

研究者发现水平团队通常更适合需要协作的任务如咨询而垂直团队则更适合那些需要明确划分责任和工具调用的任务。

这种结构化的方法使得AgentVerse能够有效地指导智能体团队以适应不同任务的需求从而提高整体的执行效率和问题解决能力。

MetaGPTMetaGPT是一种多智能体架构旨在解决智能体在共同解决问题时可能出现的无效交流问题。

在很多多智能体系统中智能体之间的对话可能导致无关紧要的闲聊这并不有助于推进任务目标。

MetaGPT通过要求智能体生成结构化的输出如文档和图表而非交换非结构化的聊天记录来解决这一问题。

此外MetaGPT还实现了一种“发布-订阅”的信息共享机制。

这种机制允许所有智能体在一个地方共享信息但只阅读与其各自的目标和任务相关的信息。

这不仅简化了整体目标的执行流程还减少了智能体之间的交流噪声。

在HumanEval和MBPP等基准测试中与单智能体架构相比MetaGPT的多智能体架构展现出了显著更好的性能。

核心发现无论是单智能体还是多智能体架构它们的目标都是增强语言模型的功能使其能够独立或协同人类用户来执行任务。

当前大多数智能体实现都遵循计划、行动和评估的过程以迭代解决问题。

研究发现单智能体和多智能体架构在复杂目标执行上都展现出了引人注目的性能。

在各种架构中清晰的反馈、任务分解、迭代细化和角色定义都能提高智能体的性能。

单智能体 VS 多智能体在选择单智能体与多智能体架构的典型条件方面研究发现单智能体模式通常最适合工具列表有限且流程明确定义的任务。

单智能体架构不仅实现起来相对简单因为只需要定义一个智能体和一套工具而且不会遇到来自其他智能体的不良反馈或分心的无关对话。

然而如果它们的推理和细化能力不强可能会陷入执行循环无法朝着目标取得进展。

多智能体架构特别适合于那些能够从多个智能体角色反馈中受益的任务比如文档生成。

在这样的架构中一个智能体可以对另一个智能体所撰写的文档给出明确反馈。

此外当任务需要同时处理多个不同任务或工作流程时多智能体系统也显示出其效用。

研究还表明在缺乏示例的情况下多智能体模式相较于单智能体能够更好地执行任务。

由于多智能体系统的复杂性它们往往需要有效的对话管理和明确的领导来指导。

尽管单智能体和多智能体模式在它们的能力表现上存在差异但研究指出如果提供给智能体的提示本身已经足够优秀那么多智能体间的讨论可能并不能进一步提升其推理能力。

这意味着在决定采用单一智能体还是多智能体架构时应更多地考虑他们的具体用例和上下文需求而不是仅仅基于推理能力这一单一标准。

智能体与异步任务执行智能体在处理异步任务执行方面扮演着关键角色。

虽然单个智能体有能力同时启动多个异步任务但其工作模式本质上并不支持跨不同执行线程的责任分配。

这表示任务虽然是并发处理的但并不等同于由独立决策实体管理的真正并行处理。

因此单个智能体在执行任务时必须按顺序来完成一批异步操作后才能继续进行评估和下一步操作。

相比之下多智能体架构允许每个智能体独立运作从而实现了更为灵活和动态的职责分配。

这种架构不仅使得不同领域或目标下的任务可以同时进行而且还使得每个智能体都能够独立地推进自己的任务而不受其他智能体任务状态的制约体现了一种更为灵活和高效的任务管理策略。

反馈和人类监督反馈和人类监督对智能体系统的影响至关重要。

在解决复杂问题时我们很少能在第一次尝试中就提出正确且稳健的解决方案。

通常会先提出一个可能的解决方案然后对其进行批评和改进或者咨询他人以获得不同角度的反馈。

对于智能体而言这种迭代反馈和改进的理念同样重要有助于它们解决复杂问题。

这是因为语言模型往往在回答的早期就急于给出答案这可能导致它们逐渐偏离目标状态形成所谓的“雪球效应”。

通过实施反馈机制智能体更有可能纠正自己的方向从而达到目标。

此外纳入人类监督可以改善即时结果使智能体的响应更符合人类的预期减少智能体采取低效或错误方法解决问题的可能性。

至今为止将人类验证和反馈纳入智能体架构已被证明能够产生更可靠和值得信赖的结果。

然而语言模型也表现出了迎合用户立场的倾向即使这意味着放弃公正或平衡的观点。

特别是AgentVerse论文描述了智能体如何容易受到其他智能体反馈的影响哪怕这些反馈本身并不合理。

这可能导致多智能体架构制定出偏离目标的错误计划。

虽然强有力的提示可以帮助缓解这一问题但开发智能体应用时应意识到在实施用户或智能体反馈系统时存在的风险。

群组对话与信息共享在多智能体架构中智能体之间的信息共享和群组对话存在挑战。

多智能体模式更倾向于进行非任务相关的交流比如互相问候而单智能体模式则因为没有团队需要动态管理更倾向于专注于手头任务。

在多智能体系统中这种多余的对话可能会削弱智能体有效推理和正确执行工具的能力最终分散智能体的注意力降低团队效率。

特别是在水平架构中智能体通常共享一个群聊能够看到对话中每个智能体的每一条消息。

通过消息订阅或过滤机制可以确保智能体只接收与其任务相关的信息从而提高多智能体系统的性能。

在垂直架构中任务通常根据智能体的技能被明确划分这有助于减少团队中的干扰。

然而当领导智能体未能向辅助智能体发送关键信息且没有意识到其他智能体未获得必要信息时就会出现挑战。

这种失误可能导致团队混乱或结果失真。

解决这一问题的一种方法是在系统提示中明确包含有关访问权限的信息以便智能体进行适当情境的交互。

角色定义与动态团队角色定义对于单智能体和多智能体架构都至关重要。

在单智能体架构中清晰的角色定义确保智能体专注于既定任务正确执行工具并减少对其他能力的幻觉。

在多智能体架构中角色定义同样确保每个智能体都明白自己在团队中的职责不会承担超出其描述能力和范围的任务。

此外建立一个明确的团队领导者可以简化任务分配从而提高多智能体团队的整体表现。

为每个智能体定义清晰的系统提示可以减少无效沟通避免智能体进行无关的讨论。

动态团队的概念即根据需要将智能体引入或移出系统也被证明是有效的。

这确保了参与规划或执行任务的所有智能体都适合当前工作的需求从而提高了团队的效率和任务执行的相关性。

总结无论是单智能体还是多智能体系统在处理需要推理和工具调用的复杂任务时都表现出色。

单智能体在有明确角色定位、工具支持、能够接收人类反馈并能逐步向目标推进的情况下工作效果最佳。

而在构建协作的智能体团队以共同完成复杂目标时如果团队中的智能体具备以下特征之一将大有裨益有明确的领导、有清晰的规划阶段并能根据新信息不断优化计划、能有效过滤信息以优化沟通以及能够根据任务需要调整团队成员以确保他们具备相关技能。

智能体架构若能融入这些策略之一其表现很可能会超越单一智能体系统或缺乏这些策略的多智能体系统。

AI Agent的局限性与未来研究方向尽管AI Agent架构在很多方面显著增强了语言模型的功能但在评估、整体的可靠性以及解决由底层语言模型带来的问题等方面仍然面临着挑战。

智能体评估的挑战尽管大语言模型可以通常通过一套标准化的测试来评估其理解和推理能力但对智能体的评估却没有统一的标准。

许多研究团队为他们开发的智能体系统设计了独有的评估标准这使得不同智能体系统之间的比较变得困难。

此外一些新设立的智能体评估标准包含手工打造的复杂测试集这些测试集的评分需要人工完成。

虽然这能够提供对智能体能力深度评估的机会但它们通常缺乏大规模数据集的稳健性并且由于评分者可能同时是智能体系统的开发者这也可能引入评估偏见。

此外智能体在连续的迭代中生成一致答案的能力也可能因为模型、环境或问题状态的变化而受到影响这种不稳定性在小规模且复杂的评估集中尤为突出。

数据污染和静态基准的影响一些研究人员使用标准的大语言模型基准来评估智能体系统的性能。

然而,最新研究揭示了这些模型训练数据中可能存在数据污染问题。

当基准测试问题被稍作修改后模型的性能就会急剧下降,这一现象能够证实数据污染的存在。

这一发现对语言模型及其驱动的智能体系统在基准测试中取得的高分提出了质疑,因为这些得分可能并不真实反映模型的实际能力。

同时随着LLM技术的进步现有的数据集往往跟不上模型日益增长的能力因为这些基准测试的复杂度水平通常是固定不变的。

为了应对这一挑战研究人员已经开始开发动态基准测试这些测试能够抵御简单的记忆行为。

此外他们还在探索创建完全合成的基准测试这些基准测试将基于用户的特定环境或用例以更准确地评估智能体的性能。

尽管这些方法可能有助于减少数据污染但减少人类的参与可能会增加评估结果在准确性和问题解决能力方面的不确定性。

基准范围和可转移性许多语言模型基准被设计为在没有工具调用的单次迭代中解决例如MMLU或GSM8K。

虽然这些对于衡量基础语言模型的能力很重要但它们并不是衡量智能体能力好的标准因为它们没有考虑到智能体系统在多个步骤上推理或访问外部信息的能力。

StrategyQA通过评估模型在多个步骤上的推理能力来改进这一点但答案限于是/否响应。

随着行业继续转向以智能体为重点的用例将需要额外的措施来更好地评估智能体在涉及超出其训练数据的工具的任务中的性能和泛化能力。

一些特定的智能体基准如AgentBench评估基于语言模型的智能体在各种不同环境中的表现如网页浏览、命令行界面和视频游戏。

这更好地表明了智能体通过推理、规划和调用工具来实现给定任务的泛化能力。

像AgentBench和SmartPlay这样的基准引入了客观的评估指标旨在评估实现的成功率、输出与人类响应的相似度和整体效率。

虽然这些客观指标对于理解实现的整体可靠性和准确性很重要但考虑更微妙或主观的性能度量也很重要。

工具使用效率、可靠性和规划稳健性等指标几乎和成功率一样重要但更难衡量。

这些指标的许多需要人类专家评估与LLM作为评判的评估相比这可能是昂贵且耗时的。

现实世界的适用性目前许多基准测试主要集中在评估智能体系统解决逻辑问题或进行电子游戏的能力上。

这些测试的结果确实为我们提供了智能体系统潜在能力的线索但它们是否能够准确反映智能体在现实世界任务中的表现目前尚无定论。

现实世界的数据往往更为复杂和多变涉及的范围也远超现有基准测试的覆盖。

WildBench是一个典型的例子它基于与ChatGPT进行的570,000次真实对话的数据集因此包含了广泛的任务和情景从而更全面地评估智能体的性能。

尽管WildBench能够覆盖多样化的主题但大多数现实世界的基准测试还是更倾向于专注于特定的任务。

例如SWE-bench就是一个专门针对Python软件工程任务的基准测试它使用了GitHub上的现实世界问题集。

这种基准测试在评估设计用于编写Python代码的智能体时非常有用能够很好地展示智能体处理代码相关问题的推理能力。

然而当评价智能体处理其他编程语言的能力时这类基准测试的参考价值就会大打折扣。

智能体系统中的偏见和公平性语言模型在评估过程中以及社会公平性方面常常表现出偏见。

此外智能体系统被指出存在不够稳健的问题它们有可能展现出不当行为并能产生比传统语言模型更隐蔽的内容这些都构成了严峻的安全挑战。

还有研究观察到即使在被引导从特定的政治角度进行辩论时语言模型驱动的智能体仍然倾向于遵循模型内部固有的偏见这可能导致推理过程中的错误。

随着智能体所承担的任务变得更加复杂以及它们在决策过程中的参与度增加研究者们需要更加深入地研究并解决这些系统中的偏见问题。

这对研究者来说无疑是一项巨大的挑战因为在创建可扩展和创新的评估基准时通常需要语言模型一定程度的参与。

然而为了真正评估基于语言模型的智能体的偏见所采用的基准测试必须包含人类的评估以确保评估的准确性和公正性。

总结AI Agent能够有效增强LLM语言模型的推理、规划和工具调用能力。

无论是单智能体还是多智能体架构都展现出了解决复杂问题所需的问题解决能力。

最适宜的智能体架构取决于具体的应用场景。

不过无论是哪种架构表现优异的智能体系统通常会采用以下至少一种策略明确的系统提示、清晰的领导和任务分配、专门的推理与规划到执行再到评估的流程、灵活的团队结构、人工或智能体的反馈机制以及智能的消息筛选功能。

这些技术的运用使得智能体在多种测试基准中表现得更加出色。

尽管AI驱动的智能体目前展现出巨大的潜力但它们仍然面临着一些挑战和需要改进的地方。

为了实现更加可靠的智能体我们必须在不久的将来解决包括全面的基准测试、现实世界的适用性以及减少语言模型中的有害偏见等问题。

研究者通过回顾从静态语言模型到更加动态和自主的智能体的演变旨在提供一个全面的视角来理解当前AI Agent领域的格局并为那些正在使用现有智能体架构或正在开发定制智能体架构的个体或组织提供有价值的见解。

如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。

但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。

这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。

我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。

那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。

正确的学习路线可以为你节省时间少走弯路方向不对努力白费。

这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。

在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。

以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有

年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。

风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。

本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。

以上全套大模型资料如何领取

91网站下载-91网站下载应用