核心内容摘要
Python入门：用FLUX.1模型实现你的第一个AI绘画程序
*
前言AI Agent火爆登场*要说今年上半年科技圈的“网红”AI Agent人工智能代理绝对算一个笔者最近也紧跟潮流对这玩意儿进行了深入研究还用智能体开发平台搞了几个有意思的Agent。
今天就来跟大家分享一下笔者对AI Agent的“独家”理解*
揭秘AI Agent不只是“程序猿”的“新宠”*AI Agent也就是人工智能体可不是一般的“机器人”哦它能感知周围环境还能自己思考、做决定、采取行动简直就是个“智能小超人”简单来说它就是一个基于大语言模型能通过独立思考、调用各种工具一步步完成你给它的任务的计算机程序是不是有点懵AI Agent、LLM、RAG……这些“黑话”到底啥关系别急咱们先来对比一下LLM和RAG保准你一下子就明白AI Agent是啥*
LLM语言界的“推理大师”*LLM大语言模型可是个“学霸”它通过海量文本数据的训练掌握了自然语言的“独门秘籍”。
它不仅能生成流畅的文本还能深入理解文本含义处理各种文本任务比如写摘要、回答问题、翻译等等。
简单来说LLM就是语言逻辑推理的“扛把子”像ChatGPT、文心一言、通义千问这些“网红”都是LLM的杰出代表不过LLM的知识都是提前训练好的时效性嘛……就有点“落伍”了。
而且它学习的知识大多是公开的、标准化的难免有些“局限性”。
为了解决LLM知识有限的问题就需要把外部知识“喂”给它让它好好学习、天天向上然后再把学到的东西表达出来。
这时候RAG技术就闪亮登场了*
RAG给LLM“开小灶”的“神器”*RAG检索增强生成可不是一般的技术它能把外部信息检索和大型语言模型的生成能力结合起来专门处理那些复杂的信息查询和生成任务。
在大模型时代RAG 通过加入外部数据比如本地知识库、实时数据等来增强 AI 模型的检索和生成能力让信息查询和生成的结果更准确、更靠谱举个例子文心一言的插件服务就能把实时或者私有的知识“喂”给LLM。
总结一下RAG就是一种技术作用于LLM目的是让输出结果更准确。
*
AI Agent、LLM、RAG “铁三角”关系大揭秘*如果把AI Agent比作一个“智能小超人”那么LLM就是它的“超级大脑”AI Agent 会利用 LLM 的推理能力把复杂的问题拆解成一个个小问题然后安排好这些小问题的处理顺序先解决哪个再解决哪个。
接着它会按照顺序调用 LLM、 RAG 或者其他外部工具来逐个解决这些小问题直到把最初的大问题搞定*
AI Agent的“骨架”四大核心组件*前面说了LLM是AI Agent的“大脑”但光有“大脑”可不行还得有“神经感官系统”和“四肢”才能完成复杂的任务。
这就引出了AI Agent的四大核心组件▲由LLM驱动的智能体系统如上图所示Agent由4个关键部分组成分别是规划Planning、记忆Memory、工具使用Tools、行动Action*
规划Planning “运筹帷幄”的“军师”*“规划”就是AI Agent的“思维模式”它负责“出谋划策”。
如果用人来类比当接到一个任务时我们的“思维模式”可能是这样的首先我们会思考怎样才能完成这个任务。
然后我们会把任务拆解成几个小任务一步步来完成。
接着我们会评估一下手头有什么工具能帮助我们更快更好地完成任务。
在执行任务的过程中我们会不断反思和改进调整策略力求完美。
执行过程中思考任务何时可以叫停。
我们可以通过 LLM 提示工程Prompt给AI Agent“植入”这种“思维模式”。
比如在编写Prompt的时候用上ReAct、CoT这些推理模式引导LLM把复杂的任务拆解成多个步骤一步步思考和解决这样输出的结果就会更准确*
记忆Memory “过目不忘”的“备忘录”*记忆是啥当我们思考这个问题的时候其实我们的大脑已经在“调用”记忆了记忆就是大脑存储、保留和回忆信息的能力。
AI Agent也模仿了人类的记忆机制分成了两种短期记忆就像我们平时对话的上下文这些信息会被暂时储存起来方便进行多轮对话任务完成后就会被清空。
长期记忆那些需要长时间保留的信息比如用户的个人信息、业务数据等等通常会用向量数据库来存储和快速检索。
*
工具使用Tools “十八般武艺”样样精通*AI Agent能感知环境、做决策、执行任务都离不开“神经感官系统”的帮助“工具”就扮演了这个角色。
AI Agent通过工具从周围环境获取信息感知经过LLM处理后再使用工具来完成任务执行。
所以我们需要给AI Agent配备各种各样的工具还要教会它怎么使用这些工具。
比如通过调用软件系统不同应用模块的API获取指定的业务信息以及执行业务操作的权限。
通过调用外部的插件工具来获得LLM原本不具备的能力比如文心的Chat files插件能解析文档扣子的ByteArtist插件能生成图片等等。
这里就用到了前面提到的RAG技术▲扣子平台的插件商城*
行动Action “雷厉风行”的“执行者”*AI Agent会根据规划和记忆来执行具体的行动这可能包括与外部世界互动或者通过调用工具来完成一个动作。
简单来说行动就是把一个输入Input任务变成最终输出Output的过程。
比如实体AI机器人完成一个“鼓掌”的动作或者在软件系统中AI助手帮你创建一个待办任务。
▲Cyberdog2完成“鼓掌”任务
AI Agent实战案例 订餐小助手为了让大家更好地理解AI Agent笔者举个生活中的小例子假设你需要和朋友在附近吃饭想让AI Agent帮你预订餐厅。
Agent会先把你提出的任务进行拆解比如*第1步 “你在哪儿”获取当前位置*推理1 我现在不知道你在哪儿也不知道你附近有哪些餐厅。
行动1 调用地图工具Tools获取你当前的位置。
结果1 得到你附近的餐厅列表。
*第2步 “你想吃啥”确定餐厅*推理2 要确定预订哪家餐厅我需要知道你喜欢吃什么以及其他信息比如吃饭时间、几个人一起吃。
行动2 从记忆Memory中找到你的饮食偏好、人数、时间等信息。
结果2 确定最适合你的餐厅。
*第3步 “搞定”预订餐厅*推理3 根据结果2看看我有没有预订餐厅的工具。
行动3 使用相关的插件工具进行餐厅预订Action。
结果3 任务完成
AI Agent赋能To B产品 场景化应用了解了AI Agent的基本原理我们就可以把这套“黑科技”应用到To B产品的功能设计中让AI来帮你完成搭建报表、创建任务、生成工作报告等等。
这里笔者就以【生成工作报告】为例分享一下自己的思路在CRM系统中写工作报告周报、月报可是个“老大难”问题费时费力。
一般来说这个过程可以分为几个阶段*
手动阶段 “人工”智能*刚开始员工写工作报告得“吭哧吭哧”干好几步第一步通过各种方法整理汇报周期内联系了哪些客户商机进展如何哪些客户成交了成交了多少业绩等等。
第二步把这些零散的信息整理成汇报格式比如内容当前进度预期等等。
第三步选择汇报人提交报告。
这个过程中员工大部分时间都花在了收集和整理信息上简直是“时间刺客”▲手动阶段写工作周报*
Copilot阶段 “智能”助手初现*有了LLM的加持员工写工作报告就能省去整理信息和撰写报告的步骤了。
这时候只需要把报告要求告诉LLMLLM就能根据零散的数据信息自动生成工作报告。
如果提问中没有汇报人等信息LLM还会通过多轮对话来“刨根问底”。
*
Agent阶段 “全自动”智能体*到了Agent阶段我们就可以基于智能体的基础框架打造一个【工作报告智能体】规划Planning 在编写Prompt的时候让LLM把“生成工作报告”任务拆解成获取基础数据—整理输出报告—选择汇报人—执行提交四步。
工具使用Tools 由于LLM无法直接获取私有化的知识我们可以通过RAG技术接入数据中心API来获取客户联系、流转、成交等详细数据还可以接入工作报告应用的API获得“填写”和“提交”的权限。
记忆Memory 把员工以往的汇报内容进行分析提炼出汇报风格、内容格式、汇报周期、汇报人等信息作为长期记忆存储起来供撰写报告时使用。
行动Action 基于工作报告应用开放的执行权限等LLM生成工作报告后自动执行提交操作完成任务。
▲工作报告智能体框架有了这个“神器”员工只需要给Agent下达写工作报告的任务可以设置定时任务或者手动触发Agent就能自动完成数据采集、报告撰写、选择汇报人、报告提交等一系列操作简直不要太方便▲工作报告智能体demo
六、
总结 AI AgentTo B软件的“未来之星”如果把“To B软件的AI化”比作汽车自动驾驶技术的发展那么2023年LLM的推出就相当于把To B软件应用的自动化程度从L1阶段提升到了L2阶段而AI Agent的到来则让自动化程度更上一层楼从L2阶段升级到了L4阶段。
▲人类与AI协同的三种模式随着AI Agent自主性的不断增强它将会逐渐取代越来越多的重复性工作。
但从To B软件的角度来看AI最终要解决的核心问题仍然是“降本增效”。
所以作为产品经理在提升自己AI能力的同时也要不断提高自己对产品所在行业的业务理解能力。
毕竟如果找不到核心应用场景再先进的工具也只是“摆设”。
如何学习AGI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。
至于能学习到多少就看你的学习毅力和能力了 。
我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
因篇幅有限仅展示部分资料需要点击下方链接即可前往获取**
2025最新大模型学习路线一个明确的学习路线可以帮助新人了解从哪里开始按照什么顺序学习以及需要掌握哪些知识点。
大模型领域涉及的知识点非常广泛没有明确的学习路线可能会导致新人感到迷茫不知道应该专注于哪些内容。
我们把学习路线分成L1到L4四个阶段一步步带你从入门到进阶从理论到实战。
L1级别:AI大模型时代的华丽登场L1阶段我们会去了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理
关键技术以及大模型应用场景通过理论原理结合多个项目实战从提示工程基础到提示工程进阶掌握Prompt提示工程。
L2级别AI大模型RAG应用开发工程L2阶段是我们的AI大模型RAG应用开发工程我们会去学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3级别大模型Agent应用架构进阶实践L3阶段大模型Agent应用架构进阶实现我们会去学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造我们自己的Agent智能体同时还可以学习到包括Coze、Dify在内的可视化工具的使用。
L4级别大模型微调与私有化部署L4阶段大模型的微调和私有化部署我们会更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握而L3 L4更多的是通过项目实战来掌握大模型的应用开发针对以上大模型的学习路线我们也整理了对应的学习视频教程和配套的学习资料。
大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。
书籍含电子版PDF
大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。
大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。
大模型面试题面试不仅是技术的较量更需要充分的准备。
在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。
因篇幅有限仅展示部分资料需要点击下方链接即可前往获取