核心内容摘要
windows的任务栏设置
引言大模型的“致命痛点”RAG来救场
1大模型的“尴尬时刻”我们都遇到过的坑家人们用大模型的时候是不是经常被这几个问题搞崩溃问它 2025 年的最新热点它像个 “穿越者”回答的还是几年前的老黄历知识更新永远慢半拍想让它给点专业数据支撑观点它却开始 “天马行空”编造出一些根本不存在的数据这 “幻觉” 问题太让人头疼要是在企业工作想让它调用内部文档里的信息或者用自己积累的知识库它更是一问三不知 仿佛那些宝贵的私域数据根本不存在。
这些痛点严重影响了大模型在实际场景中的应用效果难道就没有解决办法了吗别着急RAG 技术来救场
2什么是RAG一句话讲懂核心逻辑简单来说RAG 就是 “检索增强生成Retrieval-Augmented Generation” 。
如果把大模型比作一个记性很好但不会查资料的学霸那 RAG 就像是给这个学霸配了一个随身图书馆。
当学霸面对问题时不再是仅凭自己脑子里已有的知识也就是训练数据来回答而是可以先去图书馆外部知识库里检索相关信息然后结合这些信息给出更准确、更全面的答案。
RAG 的核心就在于将信息检索与文本生成相结合在生成回答之前先从权威数据源中检索相关信息让大模型的回答 “有据可依”而不是 “凭空捏造” 极大提升了生成内容的准确性、时效性和可靠性有效解决了传统大模型存在的 “知识固化” 问题。
拆解RAG三步搞定“检索生成”的核心流程了解了 RAG 的基本概念后是不是迫不及待想知道它到底是如何运作的别着急下面我就为大家详细拆解 RAG 的核心流程其实它主要分为三步检索、融合、生成 每一步都至关重要环环相扣。
1第一步检索——从海量数据里精准“捞干货”当用户提出问题时RAG 系统的第一步就是在庞大的知识库中进行检索找到与问题相关的信息。
这可不是简单的关键词匹配而是采用了更智能的向量检索技术。
2.
1向量检索不是关键词匹配是“语义灵魂契合”向量检索的核心原理是将文档和用户问题都转换成向量向量是一种用数字表示语义特征的方式。
简单来说就是把文本信息转化为高维空间中的点通过计算这些点之间的相似度来判断文本之间的相关性。
比如我们可以使用像 BERT、GPT 等预训练模型将文本转换为向量这些向量包含了丰富的语义信息能够更好地理解用户的查询意图。
这里给大家举个例子假如我们有一个文档库里面包含了各种关于科技的文章。
当用户提问“人工智能发展历程” 时如果是传统的关键词检索可能只有包含 “人工智能” 和 “发展历程” 这两个关键词的文档才会被检索出来。
但如果是向量检索即使文档中没有出现 “人工智能发展历程” 这几个字只要它的内容是关于 AI 的起源与演进比如提到 “AI 的起源与演进”向量检索也能通过计算向量相似度将这篇文档检索出来因为它能理解这两个表述在语义上是相近的 这就是向量检索的强大之处。
下面我们通过一段使用 FAISS 库Facebook AI Similarity Search用于高效相似性搜索和密集向量聚类的库 的代码示例来看看向量检索的实际操作步骤import faiss import numpy as np from sentence_transformers import SentenceTransformer # 初始化Sentence Transformer模型用于生成文本向量 model SentenceTransformer(all-MiniLM-L6-v
# 假设这是我们的文档集合 documents [人工智能在医疗领域的应用, 机器学习算法介绍, 自然语言处理技术发展] # 将文档转换为向量 document_vectors model.encode(documents) # 创建FAISS索引这里使用的是Flat L2索引适合小数据集 d document_vectors.shape[1] # 向量维度 index faiss.IndexFlatL2(d) # 将文档向量添加到索引中 index.add(document_vectors) # 用户查询 query AI在医疗方面的应用 # 将查询转换为向量 query_vector model.encode([query]) # 进行向量检索k2表示返回最相似的2个文档 k 2 distances, indices index.search(query_vector, k) # 输出检索结果 for i in range(k): print(f相似度: {1 - distances[0][i]}, 文档: {documents[indices[0][i]]})在这段代码中我们首先使用 Sentence Transformer 模型将文档和用户查询转换为向量然后使用 FAISS 库创建索引并将文档向量添加到索引中。
最后通过索引搜索与查询向量最相似的文档并输出相似度和对应的文档内容。
通过这个示例大家可以更直观地了解向量检索的过程。
2.
2文本分块为什么不能直接丢给大模型一整篇文档在进行向量检索之前还有一个重要的预处理步骤那就是文本分块。
大家可能会问为什么不能直接把一整篇文档丢给大模型进行处理呢这主要有两个原因一是大模型的上下文长度是有限的比如 GPT-3 的上下文长度一般在几千个词左右如果文档过长大模型无法处理全部内容二是直接使用整篇文档进行检索精度会比较低因为文档中可能包含很多与问题无关的信息会干扰检索结果。
文本分块就是将长文档分割成一个个小的文本片段chunks这些片段通常包含几百到几千个词不等然后对每个片段进行向量化和索引。
这样做不仅可以解决大模型上下文长度限制的问题还能提升检索精度因为每个片段的内容更加聚焦更容易找到与问题相关的信息。
常见的文本分块策略有固定分块和语义分块。
固定分块是按照固定的长度如字符数、词数或 token 数对文本进行分割这种方法实现简单但可能会切断完整的语义比如一个句子被分成了两个块影响理解。
语义分块则是根据文本的语义内容进行分割通过计算句子或段落之间的语义相似度将语义相关的内容划分到同一个块中这样可以更好地保留语义完整性更贴合实际需求但计算成本相对较高。
例如对于一篇介绍人工智能的文章语义分块可能会将关于人工智能定义、发展历程、应用领域等不同主题的内容分别划分到不同的块中而不是像固定分块那样随意切割。
2第二步融合——把检索到的信息“喂”给大模型通过向量检索我们得到了与用户问题相关的文本片段接下来就是将这些检索到的信息与用户问题进行融合然后把融合后的上下文“喂” 给大模型让大模型基于这些信息生成回答。
2.
1两种融合方式拼接vs注意力机制融合检索信息与用户问题主要有两种方式拼接和注意力机制。
拼接是最基础的融合方式就是直接把检索到的文本片段按照一定的顺序通常是相关性从高到低附在用户问题的后面形成一个完整的输入序列然后输入到大模型中。
例如用户问题是“人工智能在教育领域有哪些应用”检索到的相关信息是 “人工智能可以用于个性化学习根据学生的学习情况提供定制化的学习方案” 和 “智能辅导系统也是人工智能在教育领域的一个重要应用能够实时解答学生的问题”那么拼接后的输入就是 “人工智能在教育领域有哪些应用人工智能可以用于个性化学习根据学生的学习情况提供定制化的学习方案。
智能辅导系统也是人工智能在教育领域的一个重要应用能够实时解答学生的问题”。
这种方式简单直接易于实现在一些对性能要求不高、任务相对简单的轻量场景中表现良好。
下面是一个 Python 代码示例展示了如何使用拼接的方式将检索到的信息与用户问题进行融合user_question 人工智能在教育领域有哪些应用 retrieved_info [人工智能可以用于个性化学习根据学生的学习情况提供定制化的学习方案, 智能辅导系统也是人工智能在教育领域的一个重要应用能够实时解答学生的问题] # 使用换行符将检索到的信息连接起来 concatenated_context user_question \n \n.join(retrieved_info) print(concatenated_context)在这个示例中我们使用换行符将用户问题和检索到的信息连接起来形成了一个完整的上下文。
注意力机制则是一种更高级的融合方式它可以让大模型在处理输入时动态地聚焦于不同部分的信息根据信息的重要性分配不同的注意力权重。
比如对于上面的例子当大模型处理到“智能辅导系统也是人工智能在教育领域的一个重要应用能够实时解答学生的问题” 这句话时如果问题重点关注的是实时解答问题这一功能注意力机制就会给 “实时解答学生的问题” 这部分内容分配更高的权重从而让大模型更准确地理解和回答问题。
注意力机制在处理复杂任务时表现更为出色能够提升大模型对上下文信息的利用效率但实现相对复杂计算成本也较高。
3第三步生成——大模型“有据可依”的精准输出经过检索和融合步骤后我们得到了包含用户问题和相关检索信息的上下文接下来就将这个上下文输入到大模型中让大模型生成回答。
大模型基于 Transformer 架构的自注意力机制来捕捉上下文之间的关联从而生成准确、连贯的回答。
以 GPT 系列模型为例它通过多层 Transformer 块对输入的上下文进行编码和解码在解码过程中模型会根据前面的输入预测下一个词不断生成回答内容。
这里我们结合 Hugging Face Transformers 库的代码示例来展示从加载模型、分词到生成回答的过程python from transformers import AutoTokenizer, AutoModelForSeq2SeqLM # 加载预训练的模型和分词器 tokenizer AutoTokenizer.from_pretrained(“t5-base”) model AutoModelForSeq2SeqLM.from_pretrained(“t5-base”) # 假设这是融合后的上下文 context “人工智能在教育领域有哪些应用人工智能可以用于个性化学习根据学生的学习情况提供定制化的学习方案。
智能辅导系统也是人工智能在教育领域的一个重要应用能够实时解答学生的问题” # 对上下文进行分词 input_ids tokenizer.encode(context, return_tensors‘pt’) # 生成回答 outputs model.generate(input_ids) # 解码生成的回答 answer tokenizer.decode(outputs[0], skip_special_tokensTrue) print(answer)在这段代码中我们首先使用 Hugging Face Transformers 库加载了预训练的 T5 模型和分词器然后对融合后的上下文进行分词将其转换为模型可以处理的输入格式。
接着通过模型的 generate 方法生成回答最后使用分词器的 decode 方法将生成的回答解码为可读的文本。
这一步的
核心价值在于让大模型不再仅仅依赖于自身预训练时学到的“过时的内置知识”而是基于权威的检索信息生成内容从而大大提高了回答的准确性和可靠性有效避免了大模型的 “幻觉” 问题。
RAG的硬核优势对比传统大模型到底强在哪了解了 RAG 的核心流程后相信大家已经对它的工作机制有了一定的认识。
那么RAG 与传统大模型相比到底强在哪里呢接下来我们就从知识更新、减少幻觉、数据安全和成本效益这四个方面来详细对比一下。
1实时知识更新永远走在“潮流前线”传统大模型的知识更新就像是一场“大工程”需要重新收集大量的文本数据这些数据要涵盖各种领域、各种类型的信息从新闻资讯到学术论文从历史资料到现代文学等等。
收集完成后还得对这些数据进行清洗去除其中的噪声数据比如格式错误、内容重复、包含敏感信息的数据等。
清洗完的数据才能进入训练环节这个过程需要强大的算力支持可能要在高性能的 GPU 集群上运行数周甚至数月的时间消耗大量的计算资源和能源。
而且重新训练不仅耗时费力还可能导致模型出现过拟合或欠拟合的问题影响模型的泛化能力。
RAG 在知识更新方面则要简单高效得多。
当有新的知识或信息出现时只需要将这些新内容添加到外部知识库中并对新添加的文档进行向量化处理然后更新向量索引即可。
这个过程相对快速能让模型迅速获取到最新的知识。
例如在金融领域市场行情瞬息万变新的政策法规也不断出台。
使用 RAG 技术的金融智能助手能够实时关注新闻资讯、政策文件等数据源一旦有新的信息发布就能立即更新知识库。
当用户询问关于最新金融政策对投资的影响时它可以基于最新的知识库给出准确的回答而传统大模型由于知识更新的滞后性可能还在按照旧的政策进行分析给出的回答就会与实际情况存在偏差。
2减少“幻觉”从“瞎编”到“有据可查”大模型产生“幻觉” 的根源在于其生成内容时缺乏可靠的事实依据只是基于训练数据中的模式和概率进行生成容易 “无中生有”。
比如当询问大模型关于某部新上映电影的票房数据时如果训练数据中没有包含这部电影的相关信息它可能会编造一个看似合理但实际上并不存在的票房数字 。
RAG 通过引入外部权威的检索信息有效降低了 “幻觉” 的出现概率。
研究表明使用 RAG 技术可以将大模型的事实性错误降低 40%-60% 。
例如当用户查询 OpenAI CEO 的最新动态时如果没有 RAG 技术大模型可能因为知识截止问题或者训练数据中没有相关信息而无法准确回答甚至出现 “幻觉”编造一些虚假的动态。
但如果采用了 RAG 技术系统会先在新闻网站、社交媒体等外部知识库中进行检索找到关于 OpenAI CEO 的最新新闻报道然后基于这些权威信息生成回答能够精准引用新闻内容告知用户 OpenAI CEO 最近出席了哪些活动、发表了什么言论等准确信息大大提高了回答的可靠性。
3守护“数据安全”企业私域数据的“保护伞”在当今数字化时代数据安全是企业面临的重要挑战之一。
对于企业来说内部的敏感数据如客户信息、财务报表、商业机密等是企业的核心资产一旦泄露可能会给企业带来巨大的损失。
传统大模型在处理企业敏感数据时通常需要将数据上传到云端进行训练这就存在数据泄露的风险。
例如2023 年某知名企业在使用外部大模型服务时由于数据传输过程中的加密措施不完善导致部分客户数据被黑客窃取引发了严重的信任危机和法律纠纷。
RAG 技术则为企业数据安全提供了有力的保障。
它无需将企业的私有数据上传到外部进行训练而是在本地搭建私有知识库当用户提问时RAG 系统仅在本地的私有知识库中进行检索然后将检索到的相关信息与用户问题一起输入到大模型中进行处理 。
这样企业的敏感数据始终保留在企业内部大大降低了数据泄露的风险。
同时RAG 技术也符合 GDPR欧盟通用数据保护条例等严格的数据合规要求为企业在数据安全和合规方面提供了双重保障。
在金融、医疗等对数据安全要求极高的领域RAG 技术的优势尤为明显。
例如在医疗领域患者的病历信息包含了大量的个人隐私和敏感医疗数据使用 RAG 技术的医疗智能助手可以在本地的医疗知识库中检索相关的医学知识和病例信息为医生提供诊断建议同时确保患者的隐私数据不被泄露。
4低成本高效小投入实现大模型“领域专精”将大模型应用于特定领域时传统的方法是对大模型进行微调使其适应特定领域的任务。
然而微调大模型需要大量的特定领域数据这些数据的收集和标注是一项艰巨的任务。
比如在医疗领域要收集各种疾病的症状描述、诊断标准、治疗方案等数据然后对这些数据进行人工标注确保数据的准确性和一致性。
这个过程不仅需要耗费大量的人力、物力和时间还需要专业的领域知识成本非常高昂。
而且微调后的模型可能会出现过拟合的问题导致在其他领域的泛化能力下降。
相比之下RAG 技术的成本要低得多。
它不需要对大模型进行复杂的微调只需要搭建一个领域相关的知识库和检索系统就可以让通用大模型快速适应特定领域的任务实现 “领域专精”。
例如在法律领域企业可以将法律法规、案例库等整理成知识库然后通过 RAG 技术让通用大模型能够根据用户的法律问题在知识库中检索相关的法律条文和案例给出专业的法律建议。
这种方式大大降低了企业在 AI 领域的投入成本同时也提高了模型的灵活性和可扩展性使得企业能够以较低的成本将大模型应用到实际业务中。
实战场景RAG到底能解决哪些真实问题通过前面的介绍相信大家已经对 RAG 的工作原理和优势有了深入的了解。
那么在实际应用中RAG 到底能解决哪些真实问题呢接下来我们就通过一些具体的实战场景来看看 RAG 的强大之处。
1智能客服秒回用户首次解决率提升35%在智能客服领域RAG 技术可谓是大放异彩。
以往企业的客服人员常常要花费大量时间在查找资料上只为给用户提供准确的回答效率低下不说用户体验也很差。
而现在借助 RAG 技术智能客服可以快速检索产品手册、政策文档等相关信息然后生成精准回答大大提高了响应速度和回答的准确性 。
以电商行业为例当用户咨询某款商品的售后政策时传统客服可能需要在多个文档中查找相关内容回复速度较慢。
而采用 RAG 技术的智能客服能瞬间在商品售后知识库中检索到相关信息并结合用户问题生成详细、准确的回答如退换货的条件、流程以及时间限制等让用户第一时间得到满意的答复。
再比如运营商客服在面对用户关于套餐规则的询问时RAG 智能客服也能迅速从套餐知识库中提取关键信息清晰地解释套餐包含的通话时长、流量、短信数量以及套餐外的收费标准等内容帮助用户更好地理解套餐详情。
根据相关数据统计某电商企业在引入 RAG 技术后智能客服的首次问题解决率从原来的 50% 提升到了 85%用户咨询等待时间从平均 3 分钟缩短至 30 秒以内大大提升了用户体验同时也为企业节省了大量的人力成本客服团队规模相比之前减少了 30% 真正实现了降本增效。
2专业领域辅助医疗、法律、金融的“得力助手”在医疗、法律、金融等专业领域RAG 同样发挥着重要作用成为了专业人士不可或缺的 “得力助手”。
在医疗领域医生在诊断和治疗过程中需要参考大量的医学文献和临床数据。
RAG 技术可以帮助医生快速检索最新的医学研究成果、临床指南以及相似病例为诊断和治疗提供有力的支持。
例如当医生面对一位患有罕见病的患者时通过 RAG 系统医生可以在短时间内检索到全球范围内关于该罕见病的最新研究论文、治疗案例从而为患者制定更精准的治疗方案提高诊断的准确性和治疗的成功率。
在法律领域律师在处理案件时需要查阅大量的法律法规、案例库以及合同模板等资料。
RAG 技术可以帮助律师快速检索相关的法律条文和类似案例为案件的分析和辩护提供有力的依据。
以知识产权案件为例律师可以通过 RAG 系统快速检索到相关的专利法规、以往的侵权案例以及法院的判决结果从而更好地为当事人制定维权策略保障当事人的合法权益。
同时RAG 技术还能确保法条引用的完整度避免因引用错误或不完整而导致的法律风险。
在金融领域RAG 技术可以帮助分析师快速整合各类金融数据和信息生成高质量的投研报告。
分析师在撰写投研报告时通常需要收集和分析大量的公司财报、行业新闻、宏观经济数据等资料这个过程耗时费力。
而借助 RAG 技术分析师只需输入相关的主题和关键词RAG 系统就能从海量的金融数据中快速检索到相关信息并进行整合和分析生成初步的投研报告框架和内容要点。
例如在分析某家上市公司的投资价值时RAG 系统可以迅速检索到该公司的历年财报、最新的新闻报道、行业研究报告等资料并从中提取关键信息如公司的财务状况、市场竞争力、发展前景等为分析师提供全面的参考大大缩短了投研报告的产出时间。
据某金融机构内部测试使用 RAG 技术后投研报告的产出时间从原来的平均一周缩短至一天以内效率提升了 6 倍之多 让分析师能够更及时地为投资者提供专业的投资建议。
3个人知识库打造专属“智能问答助手”除了在企业和专业领域的应用RAG 技术对于普通用户来说也非常实用它可以帮助我们打造属于自己的 “智能问答助手”。
在日常学习和工作中我们常常会积累大量的笔记、书籍、学习资料等当我们需要查找其中的某些信息时往往需要花费大量时间去翻阅。
而有了 RAG 技术我们可以将这些资料整理成个人知识库当我们遇到问题时只需要输入问题RAG 系统就能在个人知识库中快速检索相关内容并生成
总结回答。
比如你是一名 Python 开发者在学习过程中积累了大量的代码笔记和学习资料。
当你遇到一个关于 Python 向量检索代码示例的问题时你只需将问题输入到基于 RAG 技术的个人知识问答系统中它就能迅速从你的知识库中检索到相关的代码示例并为你详细解释代码的功能和
实现原理就像有一位随时在线的专属导师为你答疑解惑大大提高了学习和工作效率。
RAG进阶玩法从“基础款”到“高阶版”
1传统RAG vs Agentic RAG从“被动检索”到“主动决策”了解了 RAG 的基础原理和应用场景后你是不是已经迫不及待想要深入探索 RAG 的进阶玩法了呢接下来我们就一起揭开 Agentic RAG 的神秘面纱看看它与传统 RAG 相比到底有哪些独特之处。
传统 RAG 在处理用户问题时采用的是一种相对 “被动” 的方式。
它就像一个只知道按指令行事的 “小助手”当用户提出问题后它会根据预设的规则直接在知识库中进行单次静态检索然后将检索到的信息一股脑地交给大模型生成回答 。
这种方式在处理一些简单、明确的问题时表现还不错能够快速给出答案。
但一旦遇到复杂问题需要多步推理和动态调整检索策略时传统 RAG 就显得力不从心了。
比如当用户问“如何在资源受限的情况下比较不同 RAG 实现方案的优缺点并给出最佳实践” 这样复杂的问题时传统 RAG 可能只是简单地检索包含 “RAG 实现方案”“优缺点”“资源受限”“最佳实践” 等关键词的文档然后试图将这些文档中的信息拼凑成一个回答。
但它无法理解问题的本质也不会根据检索结果进行进一步的思考和分析很容易给出不完整或不准确的答案。
而 Agentic RAG 则像是一个更加智能、主动的 “专家助手”它引入了智能体Agent的概念赋予了 RAG 系统自主决策和推理的能力 。
Agentic RAG 不再局限于单次静态检索而是能够根据问题的复杂程度和用户的需求动态地调整检索策略进行多轮检索和多跳推理。
当遇到上述复杂问题时Agentic RAG 首先会对问题进行深入分析理解用户的真正意图然后将问题分解为多个子问题比如 “有哪些常见的 RAG 实现方案”“在资源受限的情况下这些方案的性能指标有哪些”“如何根据性能指标评估这些方案的优缺点” 等。
接着它会针对每个子问题在不同的数据源中进行有针对性的检索并根据检索结果进行推理和判断。
在生成回答后Agentic RAG 还会进行自我验证通过二次检索来验证答案的准确性如果发现答案存在问题它会自动调整检索策略重新进行检索和推理直到生成一个准确、完整的回答 。
简单来说传统 RAG 的工作模式是 “用户提问→检索→生成”而 Agentic RAG 的工作模式则是 “规划→检索→验证→调整→生成”这种动态循环的工作模式使得 Agentic RAG 能够更好地应对复杂问题生成更加准确、可靠的回答更贴近人类解决问题的思维模式。
2优化小技巧提升RAG效果的关键操作在实际应用 RAG 的过程中我们常常会遇到一些问题比如检索到的信息不准确、不相关或者生成的回答质量不高。
别担心下面我就给大家分享几个提升 RAG 效果的优化小技巧帮助大家避开这些 “坑”。
5.
1语义分块让信息检索更“懂你”在前面介绍文本分块时我们提到了固定分块和语义分块两种策略。
固定分块虽然实现简单但容易切断语义影响检索效果。
而语义分块则是根据文本的语义内容进行分割能够更好地保留语义完整性提升检索的准确性。
比如对于一篇关于人工智能的论文固定分块可能会把关于人工智能算法介绍和应用案例的内容分割在不同的块中当用户查询人工智能在医疗领域的应用案例时由于块中信息不完整可能无法准确检索到相关内容。
而语义分块会将关于应用案例的内容划分到同一个块中当用户查询时能够更精准地匹配到相关信息提高检索的命中率。
实现语义分块的方法有很多比如可以使用自然语言处理技术如依存句法分析、语义角色标注等来分析文本的语义结构然后根据语义结构进行分块。
也可以利用预训练的语言模型如 BERT、GPT 等计算文本片段之间的语义相似度将相似度高的片段划分到同一个块中。
5.
2混合检索策略“关键词”“向量”双剑合璧在检索环节我们可以采用混合检索策略将传统的 BM25 关键词检索与向量检索相结合 。
BM25 关键词检索基于关键词的词频和逆文档频率来计算文档与查询的相关性对于一些明确包含关键词的查询能够快速定位到相关文档具有较高的召回率。
而向量检索则更擅长捕捉语义相似性对于一些语义模糊或需要语义理解的查询表现更为出色。
比如当用户查询“苹果公司最新的产品发布会” 时BM25 关键词检索可以迅速找到包含 “苹果公司”“产品发布会” 等关键词的文档而向量检索则可以找到虽然没有直接出现这些关键词但内容与苹果公司产品发布会相关的文档如关于苹果新产品的报道、行业分析等。
通过将两种检索方式的结果进行融合可以得到更全面、准确的检索结果 。
具体实现时可以先使用 BM25 关键词检索获取一个初步的文档集合然后再使用向量检索在这个集合中进行二次筛选根据向量相似度对文档进行重新排序这样既能保证检索的效率又能提高检索的准确性。
5.
3重排序ReRank模型筛选出最相关的内容当我们通过检索得到一个文档列表后这些文档的相关性可能参差不齐有些文档虽然与查询有一定的相关性但并不是最相关的。
这时我们就可以使用重排序ReRank模型对检索结果进行进一步的筛选和排序找出最符合用户需求的文档 。
重排序模型通常基于深度学习技术如 Transformer 架构它会对查询和文档进行联合编码通过计算它们之间的语义相似度和其他特征对文档进行重新打分和排序。
比如常见的交叉编码器Cross-Encoder就是一种重排序模型它将查询和文档拼接在一起输入到模型中进行编码然后输出一个表示它们相关性的分数 。
在实际应用中我们可以先使用一个轻量级的检索模型如基于向量检索的方法快速从大规模文档库中检索出一个候选文档集合然后再使用重排序模型对这个集合中的文档进行重新排序只保留最相关的前几个文档作为最终的检索结果这样可以大大提高检索结果的质量避免将不相关的信息传递给大模型从而提升生成回答的准确性。
六、
总结与展望RAG开启AI落地的“平民时代”
1
总结RAG让大模型“落地生根”RAG 技术作为大模型时代的 “得力助手”通过将信息检索与文本生成相结合有效解决了传统大模型存在的知识更新滞后、幻觉、数据安全等问题为大模型在各个领域的落地应用提供了强有力的支持 。
从核心流程来看RAG 通过向量检索从海量数据中精准获取相关信息再将这些信息与用户问题融合后输入大模型让大模型基于可靠的信息生成回答实现了 “检索 生成” 的高效协作 。
与传统大模型相比RAG 在知识更新的实时性、回答的准确性和可靠性、数据安全保障以及成本效益等方面都展现出了明显的优势使其成为企业和个人在 AI 应用中的首选技术之一。
在实际应用中RAG 已经在智能客服、专业领域辅助、个人知识库等多个场景中发挥了重要作用帮助企业提升了工作效率降低了成本同时也为用户提供了更加智能、便捷的服务。
2未来趋势RAG将走向何方展望未来RAG 技术有望在以下几个方向实现突破和发展
多智能体协作架构未来的 RAG 系统可能会引入多智能体协作架构将检索、验证和生成等功能分别由不同的智能体负责。
检索 Agent 负责从海量数据中快速检索相关信息验证 Agent 对检索到的信息进行真实性和相关性验证生成 Agent 则根据验证后的信息生成高质量的回答 。
这种协作架构可以充分发挥各个智能体的优势提高系统的整体性能和可靠性实现更复杂的任务和更灵活的交互 。
跨模态检索当前的 RAG 主要处理文本数据未来有望实现跨模态检索支持图片、音频、视频等非文本数据的检索和融合。
例如当用户询问关于某部电影的信息时RAG 系统不仅可以检索到相关的文字介绍还能检索到电影的海报、预告片等多媒体信息并将这些信息与文本信息结合起来为用户提供更丰富、全面的回答进一步拓展 RAG 的应用场景和能力边界 。
与知识图谱结合知识图谱是一种语义网络它以图形的方式展示了实体之间的关系和知识结构。
将 RAG 与知识图谱相结合可以为大模型提供更丰富的语义信息和推理能力使大模型能够更好地理解用户的问题并进行更深入的推理和分析。
比如在回答 “苹果公司的主要竞争对手有哪些” 这样的问题时结合知识图谱RAG 系统可以不仅能直接列出竞争对手的名称还能进一步分析它们在市场份额、产品特点等方面的竞争关系生成更具深度和价值的回答 。
从“工具”升级为“组织级认知中枢”随着 RAG 技术的不断发展和完善它将不仅仅是一个辅助大模型的工具而是逐渐演变为组织级的认知中枢。
企业可以将 RAG 技术集成到各种业务系统中如客户关系管理系统、企业资源规划系统等实现数据的深度融合和知识的共享让 RAG 系统能够理解和处理企业的各种业务知识和流程为企业的决策、运营和创新提供全方位的支持 。
RAG 技术作为大模型时代的
关键技术已经在多个领域展现出了巨大的潜力和应用价值。
相信在未来随着技术的不断创新和突破RAG 将为我们带来更多的惊喜和变革让 AI 真正融入到我们的生活和工作中开启 AI 落地的 “平民时代” 。
如果你对 RAG 技术感兴趣欢迎在评论区留言讨论分享你的想法和见解。
学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】