核心内容摘要
“辶喿”与“辶臿”
引言——Agent 开发的“最后一公里”在 AI Agent 爆火的今天很多开发者都经历过这样的“高光时刻”写几行 Prompt挂载几个工具一个看起来无所不能的智能体就诞生了。
但现实往往很骨感。
当你试图将 Agent 投入真正的业务场景比如金融投顾、医疗咨询时你会发现黑盒困境它给出的回答时好时坏你却不知道它在中间哪一步“掉链子”了。
性能瓶颈一个简单的查询它却在后台“深思熟虑”了 30 秒用户早已失去耐心。
评估迷茫改了一个 Prompt 参数整体表现是变好了还是变差了只能靠人工肉眼抽检。
这种从“Demo 调通”到“生产可用”的距离就是 Agent 开发的最后一公里。
要跑通这一公里我们需要一套完整的效果评估体系。
今天我就结合一个“投顾 AI 助手”的实战案例带大家看看高手是如何炼成高性能 Agent 的。
Agent架构基石——混合智能体要优化 Agent首先要有一个合理的架构。
在本次案例中我们采用的是混合智能体架构Hybrid Agent Architecture。
为什么要“混合”——快思考与慢思考丹尼尔·卡尼曼在《思考快与慢》中提到人类有两套系统系统 1 是直觉和本能快系统 2 是逻辑与规划慢。
一个优秀的 AI Agent 也应如此底层反应式层/Reactive负责处理简单直接的指令。
比如用户问“现在上证指数是多少”Agent 应该形成“本能反应”直接查数据并返回追求极速响应。
顶层深思熟虑层/Deliberative负责长周期、复杂的任务。
比如用户问“如果未来半年美联储降息我的资产配置该如何调整”这需要 Agent 进行长程规划、多步推理追求深度逻辑。
中层协调Agent 的“调度大脑”混合架构的核心在于协调层Coordination Layer。
它像一个聪明的调度员实时监控用户的输入如果是紧急、简单的任务一键分发给反应式层如果是策略性任务则激活深思熟虑层。
通过这种动态切换既保留了智能体的“深度”又解决了响应速度的“痛点”。
状态管理WealthAdvisorState 的妙用在复杂的投顾场景下Agent 不能“随风倒”它必须有记忆。
我们通过WealthAdvisorState来维护对话上下文。
它不仅记录了用户的资产信息还记录了 Agent 当前处于哪种处理模式。
这种显式状态管理为后续我们利用 LangSmith 进行精确监控提供了数据基础。
Agent监控与调试——基于LangSmith很多开发者在调试 Agent 时最痛苦的就是只能对着终端的日志Logs猜它的逻辑。
但在工程化开发中我们需要对Agent运行过程进行精确追踪。
这里我们就不得不提LangSmith可视化界面https://smith.langchain.com/。
通过 LangSmith 的集成我们可以记录下Agent应用投顾助手每一次调用的全过程LangSmith 为LLM 应用提供了完整的工具链。
调试与追踪实时追踪每个LLM 调用、工具使用和Agent 决策过程帮助快速定位问题。
性能监控监控响应时间、Token 使用量、成本等关键指标优化应用性能。
测试与评估创建测试数据集评估模型输出质量持续改进应用效果。
数据分析分析用户查询模式、错误率、成功率等为产品优化提供数据支持。
Step1获取API 密钥 https://smith.langchain.com 点击Tracing quickstart 获取 API 密钥Step2设置环境变量代码层面配置好相应的环境变量LANGSMITH_API_KEYyour-api-key-hereLANGCHAIN_TRACING_V2trueLANGCHAIN_PROJECT“wealth-advisor-hybrid-agent” # 可选用于组织追踪记录代码中相关配置如下Step3自动追踪配置代码中配置config的标签及元数据通过tags 和metadata 为每次运行打上标签如用户ID、业务类型方便在LangSmith后台进行筛选、 分组和故障排查。
全链路追踪Tracing启动程序运行Agent时相关运行过程信息就会传递到LangSmith通过LangSmith可以看到Agent运行的全过程。
LangSmith上的Agent运行过程追踪如下图所示当Agent 执行出现问题时可以在LangSmith 中查看每个节点的输入和输出LLM 的完整Prompt 和响应工具调用的参数和结果状态转换的详细过程
Agent运行时间序列的瀑布图可视化瀑布图是优化 Agent 体验的关键它可以看出Agent在不同阶段的耗时。
耗时诊断在投顾助手的案例中一次反应式查询总用时约为
06 秒 。
通过瀑布图我们可以清晰地看到协调层评估assess占用了
27 秒而反应式处理过程reactive用了
73 秒 。
串行与并行如果发现多个数据收集节点是串行执行的我们就可以考虑将它们改为并行从而大幅缩短响应时间 。
标签与元数据高效筛选为了方便后续分析我们通过RunnableConfig为每次运行打上标签 Tags标记为hybrid-agent或wealth-advisor。
Metadata存入customer_id、风险偏好risk_tolerance和投资期限 。
当系统上线后如果某位“平衡型”投资者反馈回答不准确你可以在 LangSmith 后台中秒级筛选出该类型用户的所有对话记录进行针对性复盘 。
黄金用例一键转存测试集LangSmith 最实用的功能之一就是当你在工程应用中发现一个完美的回答good-case或者一个离谱的回答bad-case时可以点击右上角的“ Add to Dataset”。
这能瞬间将该次调用的输入、输出保存为带参考答案的样本为我们后续的自动化评估提供宝贵的测试集 。
自动化评估——基于 OpenEvals对于复杂的Agent我们不能指望每天手动测试几百遍我们需要一套自动化的打分系统。
OpenEvals是一个独立的开源评估器库由LangSmith团队开发它相当于是LangSmith的一个插件LangSmith 提供评估的平台和基础设施LangSmith可以通过openevals调用多种内置评估器openevals 的评估器可以在LangSmith中使用。
OpenEvals可以直接通过 pip install openevals 进行安装。
其代码库见https://github.com/langchain-ai/openevals
人工构建测试集在工程化开发中评估的第一步是准备测试集。
针对智能投顾助手 Agent我们需要根据不同场景设计题目反应式场景简单查询例如“今天上证指数表现如何”。
这类题目的预期输出应包含“点位”、“涨跌”等关键词 。
深思熟虑场景复杂分析例如“如何调整组合应对衰退”。
预期输出应包含“投资组合”、“调整建议”等核心逻辑 。
边界情况 (Edge Case)例如空查询或非法指令测试系统的健壮性 。
制作业务评估器有了数据集还需要“判卷标准”。
OpenEvels提供了一系列“LLM-as-a-Judge”的预置评估器可以利用LLM来自动完成效果评估评估器参考下表评估器具体规则通过Promt定义如OpenEvals中的正确性评估Promt如下除OpenEvals默认的评估器也可以自定义评估器自定义的评估器需视具体业务而定针对本文智能投顾助手案例自定义了以下两种评估器模式匹配度评估 (ProcessingModeEvaluator)它会检查 Agent 在面对“指数查询”时是否错误地开启了耗时长的“深思熟虑”模式。
匹配则给
0 分不匹配则给
0 分 。
响应完整性评估 (ResponseCompletenessEvaluator)它不只是看字数而是通过 AI 提取回答中的关键词比例。
如果一份理财建议漏掉了“债券”或“现金”的分配分数就会相应打折 。
自动化流水线Agent 的持续质检 (CI/CD)最终我们将这一切封装成一个自动化执行流程代码修改你改动了 Agent 的 Prompt 或逻辑 。
执行评估调用 LangSmith 的evaluate()函数系统会自动提取测试集、运行 Agent、并调用各类评估器包括 OpenEvals进行打分 。
查看结果在 LangSmith 界面上你会看到一个清晰的“排行榜”对比不同版本的 Prompt 在正确性、完整性、延迟和成本上的变化 。
进阶运维——Prompt Ops当 Agent 步入生产环境我们面临的挑战就从“如何开发”变成了“如何运维”。
这就引入了 **Prompt Ops提示工程运维**的概念。
它是一种工程化方法用于系统地管理、测试、优化和监控LLM 应用中的提示Prompt确保提示的质量和一致性实现持续改进。
在传统的开发中代码有 Git进行管理而在 Agent 开发中Prompt 的微小变动都可能导致结果大相径庭因此我们也需要对Agent的Prompt进行相应用的管理。
标记版本我们通过在 LangSmith 中为不同版本的 Prompt 添加experiment_prefix如prompt-v2-processing-mode或tags。
性能对比在 LangSmith 控制台你可以并排对比 v1 和 v2 版本的成功率、完整性得分、延迟以及 Token 成本 。
这种数据驱动的决策让我们敢于放弃表现不佳的“灵感”保留真正的最优解。
非LangChain家族的Agent评估工具 DeepEvalLangFuse)
DeepEval另一种Agent评估器DeepEval一个开源的LLM 评估框架专注于对大语言模型应用进行系统化的质量测试和评估为LLM 应用提供了标准化的测试能力。
DeepEval内置40评估指标覆盖RAG、Agent、对话等多种场景包括幻觉检测、相关性、忠实度等。
DeepEval和LangSmith可以协同工作DeepEval负责上线前的质量把关LangSmith 负责上线后的监控和调试。
OpenEvals与DeepEval对比DeepEval 与OpenEvals 的作用高度重叠同类竞品都是开源的LLM 输出评估器库指标丰富度DeepEval 胜出它把RAGAS、Helm、MT-bench 等论文里的指标都实现了一遍OpenEvals 目前以“忠实度、相关性、工具正确性”等核心指标为主。
自定义体验DeepEval 提供G-Eval 语法糖写起来最短OpenEvals 也支持自定义但需要继承Evaluator 基类稍微多几行模板代码。
运行位置两者都支持本地运行LLM-as-a-judge 或NLP 小模型DeepEval 默认完全离线OpenEvals 本地/云端皆可取决于你在LangSmith里是否打开上传开关。
LangFuse一个开源的Agent测试平台LangFuse 是一个开源的LLM工程平台定位是“可观测性 调试 评估”三合一的LLMOps工具代码库https://github.com/langfuse/langfuse网址https://langfuse.com/LangFuse与LangSmith对比LangFuse全开源专注“可观测 提示管理 轻量评估”任何框架/模型都能接入示例代码展示了LangFuse接入基于QwenAgent框架的智能体。
LangSmithLangChain 官方商业产品主打“企业级测试-评估-监控”闭环深度耦合LangChain生态LangSmith主要适配的LangChain的应用。
相关工程实践代码参考链接https://pan.quark.cn/s/2c20a2744dd9如有需要可以结合相关代码改写您的工程以接入LangSmith/LangFuse 或 OpenEvals/DeepEval以实现对您的Agent效果评估与测试。
学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】