核心内容摘要
AI助力音乐分类：ccmusic-database/music_genre实战应用案例
先给大家一图流
总结全文RAG这个东西圈内公认是「一周出Demo半年就弃用」。
前段时间有个朋友找到我他们搭建了个RAG系统给合作伙伴解答平台使用方面的咨询。
结果上线后内部用户的吐槽反馈不断准确率很低。
在RAG落地的过程中这太常见了——Demo阶段看着挺好真正投入使用后问题百出要么捏造一个看着正确的答案要么干脆拒答。
但我想先说明一个观点RAG的可优化方向非常多——知识处理、检索增强、回答生成、混合检索、重排……但不存在「银弹」需要深入分析数据之后才能找到最适合你团队的优化路径。
接下来的几篇文章我会把这次调优的完整过程拆解分享。
这是
我们先把准确率从13%提升到40%。
初版RAG框架仅实现了最小闭环先看看原有的RAG架构。
说实话这是一个非常标准的demo级框架用户提问 → 向量化 → 向量库检索 → 匹配知识片段 → LLM生成回答具体实现上知识来源平台的官方文档特性说明、API参考和FAQ存储方式按markdown语法分片后向量化检索方式问题向量化后匹配回答生成基于匹配知识生成回复架构本身没问题标准的RAG流程。
但为什么效果这么差呢构建测评流程没有测评就没有方向在开始优化之前我做的第一件事不是改架构而是建立测评体系毕竟 RAG可优化的方向太多了。
没有测评数据支撑分析就没有优化方向。
我们先调研了用户的准确度评估标准然后设计了这样一个流程第一步构建测评集测评集的质量直接决定了优化的方向我们花了不少精力在这个环节从历史工单中筛选从工单系统抓取了100条AI可回答的问题记录这里需要说明不是所有问题AI都能回答像人工代操、服务器异常、需要深入分析日志等用户自闭环不了的问题都不在AI的能力范围内我们要保证的是这些问题基于现有文档知识AI理论上能答出来样本不足的补充发现100条样本太少代表性不够于是进行了测评集反推用AI对各类文档反向推导可能的问题让AI基于问题和文档生成标准答案这样补充到了500条的测评集第二步设计评分机制用n8n构建测评流引入LLM从两个维度对回答质量进行评分召回率是否匹配到正确的文档准确率回答与正确答案的关键信息一致性然后基于团队的RAG系统对这500条问答数据进行测评。
测评完成后人工对回答错误的问题进行标注这里人工的干预必不可少需要根据日志然后人工模拟回答过程确定为什么回答错误。
我们对错误的原因进行分类然后发现了问题分布错误类型占比典型表现知识召回失败35%检索不到相关文档知识分片异常25%分片不完整缺关键信息问题匹配偏差30%检索到了文档但分片不相关知识相互干扰10%不同版本知识混淆这个数据非常有价值——知识召回失败和问题匹配偏差占了65%这就是我们的优化重点。
第一次优化知识切片改造问题在哪原有的知识切片方式很简单直接按markdown标题切文档。
问题很明显内容碎片化解决方案找不到语义不完整向量匹配差举个具体例子工程师问「表单保存前校验怎么配置」而现有文档大多是解决方案类这类文档通常是「问题现象原因分析解决方案」的三段式结构。
按照markdown标题粗暴切分后问题现象分片包含「表单提交时报错」「保存前校验失败」等描述原因分析分片分析为什么会出现这个问题解决方案分片详细的配置步骤用户提问时在「问题现象」分片里匹配到了但死活匹配不到「解决方案」分片。
结果就是AI知道用户遇到了什么问题但给不出解决方案。
方案一全文提炼作为分片检索后补全既然直接分片有问题那能不能让AI把文档的关键词和关键描述提炼出来作为摘要存储到向量库具体实现知识写入环节AI提炼文档的关键词和关键描述生成摘要将摘要向量化存储到向量库同时记录文档ID关联到完整文档问题回答环节用户提问后在向量库中匹配摘要分片匹配到后通过文档ID接口召回完整文档将完整文档提供给LLM结合用户问题进行回答
总结除知识写入逻辑外这里有个RAG的回答流程变更原有的RAG流程用户提问 → 向量检索 → 匹配知识分片 → 基于分片回答优化后的RAG流程用户提问 → 向量检索 → 匹配摘要分片 → 召回完整文档 → 基于完整文档回答这个方案开发完成后再次测评准确率直接从13%提升到了31%。
优化
总结提炼关键词关键描述的方式让摘要涵盖了文档的核心信息解决了「分片后内容不完整」的问题。
同时通过「检索后补全」的架构确保AI能基于完整文档生成回答避免了信息丢失。
但我们测评后发现这个方案还可以进一步优化。
原因在于摘要内容多是陈述句「本文介绍了表单保存前校验的配置方法」而工程师问的是疑问句「怎么配置表单保存前校验」向量匹配相似度依然不高。
方案二在摘要基础上添加Query有了「摘要全文」的架构后我们继续优化在摘要中补充可解答问题核心思路让AI在
总结文档时同时生成「这个文档能解决什么问题」的问句。
解读现有文档分类后优化后的核心Prompt逻辑# 根据文档类型生成不同的问题- 特性文档按什么是[关键词]生成问题- FAQ文档直接提取FAQ中的问题- API文档按什么是[API名称]生成问题- 其他文档从用户视角提出可解决的问题关键设计点标题包含关键词向量检索时标题权重大把关键词和问题放标题里按文档类型生成问题不同类型文档的问题生成规律不同问题固定格式特性文档用「什么是XX」其他文档用「怎么XX」效果准确率从31%再次提升到40%虽然40%的准确率看起来还不够高但已经比最初的13%提升了3倍小范围试用之后内部用户的负面反馈明显减少。
本篇小结回顾第一阶段的优化我们核心做了一件事让向量库存储的内容更接近用户的问题。
但我也想强调这个方案之所以有效是因为我们的数据分析显示「知识召回失败问题匹配偏差」占了65%的问题。
如果你的RAG系统问题分布不同优化路径也会完全不同。
不存在RAG优化的「银弹」。
深入分析你的数据才能找到属于你的优化路径。
下篇预告第一阶段的优化让准确率达到了40%但还有不少提升空间。
在下一篇文章中我会分享如何避免不同技术栈的知识干扰如何对关键词检索逻辑进一步调优将准确率从40%提升到55%记得关注不迷路。
学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】