核心内容摘要
黑土脚法：足尖上的艺术，身体里的野性
什么是Agent为什么是Agent大模型除了Chat外还能做什么用当我们将大型模型视为“核心调度器“时它就变成了我们的Agent。
借助任务规划、记忆及外部工具等能力大型模型能够识别出应该执行的任务以及执行方式从而实现自主决策。
并非单纯地“执行任务的工具”Agent更具备一种类似于具有主观能动性的人的“仿主体性”。
这种拟主体性即指Agent以模仿人类的方式实现从“计划”“组织”“执行”“学习”等过程直至完成一个任务。
Agent的主动模式相对于传统软件或机械的被动模式来说无疑带来了革新。
我们可以为Agent设定能力范围让它自主地发现问题、设定目标、构思策略、挑选方案、执行任务并进行检查更新。
因此Agent可被视为“具备自主智能的实体”也被广泛地称作智能体。
当前的Agent主要被分为三种类型单体Agent、多Agent协作Multi-Agent、以及与人交互的Agent。
面对一个“任务”人类描述一个“目标”然后将这个任务的执行交给Agent。
AI接受目标并自主地进行“感知环境”“形成记忆”“完成规划”“选择行动”“观察和纠正错误”等一系列以任务目标为导向的行动。
基于大模型的AI Agent并非一种“新技术”而更象是面向大型语言模型LLMs的一种“新的管理方式”。
基于Prompt的与大型模型互动的方式更像是静态的“输入-输出”而AI Agent给大模型提供了一个进行“动态决策”的框架它使得大模型有能力处理更复杂、更多样化的决策任务从而为大型模型从“语言”成功以稳固的基础迈向“真实世界”。
从CoT到Agent什么是CoT在深入理解思维链Chain of Thought, CoT之前我们先来认识两个概念即“语言智能”和“推理”。
“语言智能”可以被看作是使用基于自然语言的概念去理解经验事物并对概念间进行推理的能力。
而“推理”更常被理解为根据已知前提推出新结论的过程这通常涉及到多个步骤并形成了关键的“中间概念”它们有助于解决复杂问题。
当我们让大型模型对复杂问题进行分解将其转换为一步步可解决的子问题大模型的性能得以显著提升。
此时这些推理的步骤便构成了我们所称的思维链 CoT。
一个完整的CoT形式的Prompt通常由三部分组成指令Instruction、逻辑依据Rationale和示例Exemplars比如指令Instruction:请你解决这个复杂的数学问题求一个立方体的对角线长度它的边长为a。
逻辑依据Rationale:首先我们知道直角三角形中的勾股定理然后这个问题可以通过勾股定理解决。
先找出立方体的一个面一个平方然后找出该平方的对角线长度这就形成了一个新的直角三角形该三角形的边长包括立方体的边面的对角线及我们要找的立方体的对角线。
示例Exemplars:让我们来执行它。
首先一个立方体的一个边面是一个正方形而正方形的对角线长度可以通过勾股定理求出即dsqrt(a^2 a^
asqrt(
。
接下来我们需要找出立方体的对角线这会涉及到一个新的直角三角形他的边长是a asqrt(
和立方体的对角线。
再次应用勾股定理我们可以得出立方体对角线长度为 sqrt(a^2 2a^
asqrt(
。
以上结构就是一个CoT形式的完整解析过程。
为什么使用CoT提升了大模型的推理能力通过将复杂问题拆解为简单的子问题CoT大大增强了模型的推理能力。
它还尽可能地减少了模型在解决问题时忽视关键细节的现象从而确保计算资源始终集中在解决问题的核心步骤上。
提高了模型的可解释性与单纯输出结果的模型相比CoT可以展示模型的解题过程帮助我们更好地理解模型是如何工作的。
同时其解题步骤的输出也为我们提供了错误定位的依据。
增强了模型的可控性CoT让模型一步步展示解题步骤我们通过观察这些步骤可以更大程度地影响模型的问题解决过程避免模型成为无法控制的“完全黑盒”。
提升了模型的灵活性只需添加一句“Lets think step by step”CoT方法便可在各种大型模型中使用。
此外CoT赋予模型的分步思考能力并不仅仅局限于“语言智能”在科学应用与AI Agent构建等领域也均可发挥重要作用。
何时使用CoTCoT (Chain of Thought) 的运用能够有效提升模型解决复杂任务的效率和准确度。
如何理解这种差异效应呢任务复杂度对于简单的任务如查找特定信息或回答事实性问题CoT的优势可能不明显因为这些任务的解决方法直接且单一然而当面临复杂任务例如编写全面的项目报告或进行复杂的数学求解CoT的序列推理过程可以显著提升模型的表现通过分解和逐步解答大大提高了问题解决的准确性。
模型规模与算力此外CoT的效益也与模型的规模以及可用的算力有关。
对于较小的模型它们可能没有足够的计算能力或内部表现形式空间来有效地实施CoT。
相反较大的模型特别是那些配备有大量计算资源的模型更能有效地运用CoT策略因为他们可以在信息处理和理解中通过持续的、连续的推理过程更加深入地理解相关上下文。
任务之间的关联性CoT策略也依赖于处理的多个子任务之间的关联性。
如果这些子任务在概念性或主题性上有一定的关联性那么通过CoT模型就可以很自然地建立起这些基础知识和子任务之间的联系“桥梁”作用显现如联合乘法和加法运算规则解决更复杂的数学问题。
这种关联性允许模型在解答过程中把先前步骤的信息有效地用在后续步骤里从而提高整体任务的解决效率。
CoT如何到AgentAI Agent需要对接收到的信息进行深度理解这包括但不限于从环境中收集的反馈以及从用户接收的指令。
这个理解的过程不仅包括了信息的收集和分析更加重要的是对所收集信息进行深度解析实施有效的意图识别。
这可以将解析的结论转化为模型下一步的具体任务这个过程就像人类大脑的工作过程从接收信息对信息进行处理和理解然后基于理解结果形成决策再从决策转化为具体行动。
CoT就在这个过程中发挥了关键的作用它通过序列化的思考模式让智能体能更有效地理解和处理输入信息。
CoT帮助增强智能体进行决策的可靠性。
它将任务分解为一系列小步骤然后通过逻辑推理逐一解决这些小步骤最终将这些解决方案整合为完成整个任务的方案。
这种逐步解决问题的方法可以大大降低在面对复杂任务时因信息过多或过于复杂而导致的错误决策。
同时这种方法也提高了整个解决方案的可追踪性和可验证性。
CoT的核心功能在于将计划、行动与观察相互结合弥补推理与行动之间的差距。
这种思考模式允许AI Agent在预测可能遇到的异常情况时制定有效的对策以及在与外部环境交互的同时积累新信息、验证预先设定的预测提供新的推理依据。
CoT就像是一个强大的精确度和稳定性引擎帮助AI Agent在复杂环境中保持高效的工作效率。
Agent怎么落地为什么Agent落地这么难?在未知领域中的泛化能力尽管 AI Agent 的出现本身就拓展了大模型解决更加复杂未知领域问题的能力但是由于缺乏与现实世界真正“具身”的交互因此一个可以做到浏览网页的 Agent 是否通过同一套框架与工程手段就可以做到操控无人机编组这一问题仍然悬而未决Agent 的过度交互问题为了完成任务Agent 需要与环境进行大量复杂多步的交互而一些研究也表明 Agent 很有可能会陷入到不断交互的循环陷井之中在交互循环中无意义的空转并且由于 Agent 解决问题缺乏“效率”因此由此生出的日志的存储与信息检索也将成为新的问题个性化 Agent人手一个的私人智能助理是一个美好的畅想但是一个真正的个性化 Agent 的实现还面临许多问题目前个性化 Agent 的研究有三条技术进路分别是从定制化的 Prompt 出发从微调出发以及从模型编辑出发但是这些进路都有各自的问题并且当下研究都主要聚焦于特定的问题背景目前还不存在一套完整统一的解决方案多智能体社会如何扩大大模型 Agent 的数量以组成一个多智能体的社会用于观察“社会行为的涌现”也是一个非常有意思的方向但是多智能体的计算开销是阻碍这一领域发展的关键问题Agent 安全问题当 Agent 逐步进入人们的日常生活Agent 与 CoT 的安全性问题就必须得提上日程譬如老生常谈得隐私泄露、权限滥用、有毒信息等等问题此外当 Agent 应用于现实世界后此外由于缺少现实世界真正多模态的反馈譬如人类智能可以感受到“痛”而 AI Agent 不会有这方面的信息输入因此如何对完全不同质的两类主体进行“对齐”也将是关键问题Agent 的评价如何客观的评估一个 Agent 的能力也将是 AI Agent 发展带给我们的新问题想想几年前 NLP 时代的数据集刷榜的评估方式这种传统评价方式必然不适用于一个不断与外部环境打交道的 Agent。
此外一个做对了 99 步但生成答案错误的智能体可以本身能力要优于一个做错了 99 步但生成答案正确的智能体因此 Agent 评价也呼唤除了评估执行任务的成功率以外的新指标、新方法。
从实践层面影响目前Agent落地的问题主要有如下两方面API质量差没有形成生态Agent在2B领域落地有些类似ChatGPT Plugin搬到2B领域。
但ChatGPT Plugin发布之后实际落地的情况与预期有很大差距我们分析背后原因在于两个一是背后的API不够丰富、质量差比如描述不清晰二是试图用一个模型解决所有的垂直问题大模型对于垂直场景的理解未必足够。
第一个问题在国内尤其严重。
企业服务API生态在欧美非常成熟和开放中国还很不完善开发者很难赚到钱。
这些让Agent很难真正在生产环境落地。
开放场景 vs 封闭场景Agent的落地效果与场景的封闭程度也很相关。
一个典型的对比是Agent在法律助手 vs 出行预订场景。
前者场景不够封闭经常有新知识如新的法律法规、新的判例出现API也不够完善。
要做成真正的律师“助手”还有比较大的挑战比较现实的是做成一个帮助律师整理文档、搜索案例的提效工具。
而后者场景封闭可以穷举、API丰富机票、酒店等都有明确的API在落地中的效果要好很多。
最理想的落地情况是有大量垂直领域数据给到大模型做预训练、场景封闭、问题基本可穷举。
Agent已经有哪些落地的场景创作与生成助手当前在企业应用中以内容创作生成为主要能力的AI Agent从技术上至少有两种
单Agent的内容生成。
简单地将大模型的生成能力通过API集成到其他应用与业务流程中替代或简化原来由人工完成的部分工作。
比如在线培训管理系统中利用AI自动根据课件创建考题/考卷在数字营销流程中利用AI生成精确营销话术甚至撰写营销方案市场分析的AI Agent基于互联网搜索或开放数据生成市场分析报告电子商务企业借助AI自动批量生成商品摘要媒体行业通过AI生成新闻摘要学术平台借助AI生成论文摘要这种类型的AI助手如果内容简单的情况下可以借助Prompt工程实现与C端个人助手并无本质区别如果内容复杂或者较长可以拆分多任务执行Prompt或者使用工具来分段生成。
基于多Agent协作可能还有人类的内容生成。
典型的为虚拟机器人软件公司由AI Agent担任多个软件开发岗位通过相互协作完成某个软件开发任务。
这种多Agent协作型的助手可以借助Multi-Agents框架来简化开发与实现。
比如MetaGPT可以根据自然语言描述的开发任务组建Agent团队PM、架构师、程序员、QA等遵循SOP并最终输出完整软件开发的成果文档、代码、API说明等。
或者可以尝试定义一个文章作者三个文章批评专家通过多轮讨论优化实现高质量的文章输出。
企业知识助手在企业应用中通过“外挂”私有知识库来扩充大模型的知识储备以提供基于自然语言的、对话式的企业私有知识访问对应到AI Agent的基本能力之一持久化记忆以解决通用大模型在面向企业应用时领域知识不足导致的幻觉问题。
这种“外挂”的方式就是检索增强生成技术Retrieval-Augmented GenerationRAG本质是借助于在大模型输入时携带相关的私有知识上下文让大模型理解、
总结、整理并回答用户问题。
RAG 通过在语言模型生成答案之前先从广泛的文档数据库中检索相关信息然后利用这些信息来引导生成过程极大地提升了内容的准确性和相关性。
RAG 有效地缓解了幻觉问题提高了知识更新的速度并增强了内容生成的可追溯性使得大型语言模型在实际应用中变得更加实用和可信。
在技术架构图中可以看到LangChain或者LlamaIndex大模型主流应用开发基础框架。
这两个基础框架对大量的模型、文档加载器、向量数据库、嵌入模型等做了抽象封装并对RAG应用过程中的知识检索、Prompt组装等过程做了简化可以大大简化开发过程。
另一类可以使用具备开箱即用能力的RAG应用构建平台比如百度的灵境、天工的开放平台、COZE、FastGPT等都提供了完善的RAG应用构建工具。
FastGPT确实好用COZE的白嫖GPT48k更香。
数据分析助手在现有的企业数据分析应用中无论是中小型企业自定义的简单报表查询还是大型企业基于专业数据仓库与BI工具的经营分析系统尽管在决策支持中发挥了重大作用但是在使用中仍然存在一些可见的不足这也常常使得BI类的应用很难达到预期的建设目标。
而现在基于大模型的数据分析助手Data Agent通过在企业应用中将自然语言转换成数据分析的语言或代码比如对API的调用、对数据库的访问、甚至编写数据分析代码来达到获取数据、分析数据与可视化结果的目的。
企业内的数据分析场景至少是一部分场景在未来可以转变为业务人员通过自然语言与Agent对话比如我需要了解一下上季度各大区的销售与增长情况完成数据查询、统计、分析甚至洞察。
在实现Data Agent目前主要通过三种技术途径自然语言转数据分析的APItext2API类似现有的一些BI工具会基于自己的语义层开放出独立的API用于扩展应用因此如果把自然语言转成对这些数据分析API的调用是一种很自然的实现方式。
当然完全也可以自己实现这个API层。
这个方案的特点是受到API层的制约在后面我们会分析。
自然语言转关系数据库SQLtext2SQL这也是目前最受关注的一种大模型能力本质上也是一种特殊的text2code。
由于SQL是一种相对标准化的数据库查询语言且完全由数据库自身来解释执行因此把自然语言转成SQL是最简单合理、实现路径最短的一种解决方案。
自然语言转数据分析的语言代码即text2Code即代码解释器方案。
简单的说就是让AI自己编写代码通常是Python然后自动在本地或者沙箱中运行后获得分析结果。
当然目前的Code Interpreter大多是针对本地数据的分析处理如csv文件因此在面对企业应用中的数据库内数据时需要在使用场景上做特别考虑。
这种方案的特点是可以利用Python语言自身强大的数据科学库且独立于数据库。
这里推荐几个除Langchain之外构建数据分析助手的工具与项目DB-GPT一个国内团队的以重新定义数据交互为使命的强大开源项目包含完整的前后台项目实现实现了多场景下的交互数据分析。
包括数据库分析、Excel分析、仪表盘分析等该项目的另一个特点是后端大模型的可伸缩管理架构。
另外还有一个专注于微调Text2SQL模型与评估的开源项目。
OpenAgents一个来自香港团队的开源项目Data Agent是其中一个重要的Agent实现。
当前主要实现了对本地结构化数据文档的数据分析其特点是提供了两种数据分析方法供选择一种是基于SQL一种是基于代码解释器。
OpenInterpreter当前最强大的开源代码解释器完美地复刻了OpenAI的代码解释器实现但是可以完全在本地部署与使用利用它来实现本地的数据分析与可视化是一个不错的选择。
应用/工具助手AI应用/工具助手就是能够把自然语言转换成对企业应用或者互联网开放API调用的一种基础Agent形式。
应用助手的基本原理是比较简单的其复杂性主要体现在大模型对自然语言转API的能力类似于上述的text2API。
推荐以下几个项目LangChainLangChain中的Agent组件通过组装多个Tools封装与简化了大模型使用工具的过程可以让你专注于Tools的创建即可。
Assistants API这是OpenAI官方最新放出构建AI助手的API如果你条件具备也可以基于此构建企业AI助手充分利用其强大的gpt4模型。
其中对工具的使用主要体现在其对Function Calling功能的支持。
OpenAgents该项目中的Plugins Agent实现了对大量开放API的智能使用并且可以灵活配置增加新的Plugin可以参考其实现。
自定义的流程助手一种类似RPA机器人流程自动化的AI智能体。
其主要能力是结合RPA实现网络浏览、操作与探索的动作与过程实现由AI控制的工作流程。
通过自定义的流程助手将Agent作为企业的数字员工来简化企业日常工作中重复性较高、流程与规则固定、大批量的前端操作性事务比如多平台订单数据分析、合并、计算批量联系客户等。
利用大模型的理解与分析推理能力可以让AI更加智能的规划与分解任务过程然后借助浏览器完成执行且在未来可以利用像GPT-4V这样的视觉模型更智能的理解界面元素与功能实现完全自主的智能操作具备更强的自适应能力。
Agent适合在哪些场景落地做到比人普通员工好当我把生成的文章拿给我们的专业内容编辑同事她撇撇嘴这只能给60分啊。
但是我们要的不就是这60分客户不一定要求Agent达到专家水平很多场合只要比普通员工好就够了。
Agent PK的实际上是月薪几千元的员工。
比如公司IT部门要响应业务人员的各种需求如临时报表。
如果提供对话式UI通过几轮对话让业务人员说明白需求Agent来自动生成做到这个客户已经愿意买单了。
这样IT团队可以从琐碎中解脱出来做更重要的事。
Text to SQLText to SQL 在企业落地上有很多案例以上例子本质上就是Text to SQL, 只不过多了很多新的数据来源比如从商业化中最值钱的文档合同、财报、简历、招投标书等中提取数据。
把这些数据连同专家知识一起灌给大模型把信息抽出来通过Text to SQL来回答问题这件事已经很值钱了可复制性也很强。
写代码帮程序员写代码这个场景毋庸多言。
一个有趣的发现是大模型些代码大部分时间做的是写正则表达式。
正则表达式是个没多少人会写、但是很好用的东西。
程序员调试之前在这里经常花很多时间用了大模型之后发现很快就能解决。
这带给我们一个启发有很多人类不擅长但AI很擅长的细分领域是最适合Agent去落地探索的。
解决头部问题是落地关键我们看到在Agent领域有很多漂亮的Demo, 但能否将企业转化成为真正的长期付费者一个核心是当这个工具真的进入企业后员工是不是可以真正把它用起来解决问题。
Agent肯定会有不好用的地方关键是要先能把大部分员工的头部问题解决掉。
做到这个再出现一些小众长尾问题能让大部分用户觉得这是人的问题而不是AI的问题就好办了这种情况下人会调整自己使用Agent的方式比如更改询问方式等等通过人向AI靠拢的方式解决的一部分长尾问题。
如何学习AGI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。
至于能学习到多少就看你的学习毅力和能力了 。
我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
因篇幅有限仅展示部分资料需要点击下方链接即可前往获取**
2025最新大模型学习路线一个明确的学习路线可以帮助新人了解从哪里开始按照什么顺序学习以及需要掌握哪些知识点。
大模型领域涉及的知识点非常广泛没有明确的学习路线可能会导致新人感到迷茫不知道应该专注于哪些内容。
我们把学习路线分成L1到L4四个阶段一步步带你从入门到进阶从理论到实战。
L1级别:AI大模型时代的华丽登场L1阶段我们会去了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理
关键技术以及大模型应用场景通过理论原理结合多个项目实战从提示工程基础到提示工程进阶掌握Prompt提示工程。
L2级别AI大模型RAG应用开发工程L2阶段是我们的AI大模型RAG应用开发工程我们会去学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3级别大模型Agent应用架构进阶实践L3阶段大模型Agent应用架构进阶实现我们会去学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造我们自己的Agent智能体同时还可以学习到包括Coze、Dify在内的可视化工具的使用。
L4级别大模型微调与私有化部署L4阶段大模型的微调和私有化部署我们会更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握而L3 L4更多的是通过项目实战来掌握大模型的应用开发针对以上大模型的学习路线我们也整理了对应的学习视频教程和配套的学习资料。
大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。
书籍含电子版PDF
大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。
大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。
大模型面试题面试不仅是技术的较量更需要充分的准备。
在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。
因篇幅有限仅展示部分资料需要点击下方链接即可前往获取