核心内容摘要
云缨执枪，点燃自我奖励的“核心竞争力”解锁成长新篇章！
检索增强生成(RAG)正成为连接大模型与实时知识的关键桥梁。
本文深入解析RAG技术架构剖析主流开源项目并揭示多跳推理、混合检索等高级方法助你构建更强大的AI应用。
RAG技术概述检索增强生成(RAG)是一种结合信息检索与生成式AI的创新技术。
它通过外部知识库增强大模型的回答能力有效解决了知识滞后、幻觉问题和领域专业知识不足等挑战。
RAG的核心思想是在生成回答前先从专门构建的知识库中检索相关信息然后将这些检索结果与用户问题一起输入给大模型生成更加准确、可靠的回答。
与传统微调方法相比RAG具有无需重新训练、知识实时更新、计算成本更低等显著优势已成为企业级AI应用的首选架构。
RAG核心技术原理RAG系统通常由文档加载器、文本分割器、嵌入模型、向量数据库和生成模型五个核心组件组成。
文档加载器负责将各种格式(如PDF、Word、HTML)的文档转换为纯文本。
文本分割器将长文档分割成适合处理的片段。
嵌入模型将文本转换为向量表示存储在向量数据库中。
当用户提问时系统先将其转换为向量在向量空间中检索最相关的文档片段最后将这些片段与原始问题一起输入给生成模型产生最终回答。
一个典型的RAG流程包括索引构建和检索生成两个阶段。
索引构建阶段处理文档并构建向量索引检索生成阶段则处理用户查询并生成回答。
主流开源RAG项目实战LangChainRAG应用开发框架LangChain是目前最受欢迎的RAG开源框架之一提供了模块化的组件和便捷的接口。
# 安装LangChainpip install langchain langchain-community langchain-core# 基础RAG实现示例fromlangchain_community.llmsimportOpenAIfromlangchain_community.embeddingsimportOpenAIEmbeddingsfromlangchain_community.vectorstoresimportFAISSfromlangchain_community.document_loadersimportTextLoaderfromlangchain.text_splitterimportCharacterTextSplitterfromlangchain.chainsimportRetrievalQA# 加载文档loaderTextLoader(your_document.txt)documentsloader.load()# 文本分割text_splitterCharacterTextSplitter(chunk_size1000,chunk_overlap
docstext_splitter.split_documents(documents)# 创建向量存储embeddingsOpenAIEmbeddings()dbFAISS.from_documents(docs,embeddings)# 创建检索链llmOpenAI()qa_chainRetrievalQA.from_chain_type(llmllm,chain_typestuff,retrieverdb.as_retriever())# 提问query什么是RAG技术?responseqa_chain.run(query)print(response)LlamaIndex优化的RAG系统LlamaIndex专注于提供更高效的数据索引和查询能力特别适合处理大规模知识库。
# 安装LlamaIndexpip install llama-index# LlamaIndex RAG实现fromllama_index.coreimportVectorStoreIndex,SimpleDirectoryReaderfromllama_index.core.query_engineimportRetrieverQueryEnginefromllama_index.core.retrieversimportVectorIndexRetrieverfromllama_index.core.response_synthesizersimportget_response_synthesizer# 加载文档documentsSimpleDirectoryReader(data).load_data()# 创建索引indexVectorStoreIndex.from_documents(documents)# 配置检索器retrieverVectorIndexRetriever(indexindex,similarity_top_k
# 配置响应合成器response_synthesizerget_response_synthesizer()# 创建查询引擎query_engineRetrieverQueryEngine(retrieverretriever,response_synthesizerresponse_synthesizer)# 提问responsequery_engine.query(什么是RAG的高级方法?)print(response)Haystack企业级RAG解决方案Haystack是一个功能全面的RAG框架支持多种数据源和检索策略适合构建复杂的企业级应用。
# 安装Haystackpip install farm-haystack# Haystack RAG管道fromhaystack.document_storesimportFAISSDocumentStorefromhaystack.nodesimportBM25Retriever,EmbeddingRetriever,FARMReaderfromhaystack.pipelinesimportExtractiveQAPipelinefromhaystack.utilsimportfetch_archive_from_http# 初始化文档存储document_storeFAISSDocumentStore(faiss_index_factory_strFlat,embedding_dim
# 加载文档doc_dirdata/document_store.add_documents(get_documents_from_dir(doc_dir))# 配置检索器bm25_retrieverBM25Retriever(document_storedocument_store)embedding_retrieverEmbeddingRetriever(document_storedocument_store)# 配置阅读器readerFARMReader(model_name_or_pathdeepset/roberta-base-squad
# 创建管道pipelineExtractiveQAPipeline(readerreader,retrieverbm25_retriever)# 运行查询predictionpipeline.run(query什么是RAG技术的多跳推理?)print(prediction)
RAG高级方法多跳推理多跳推理通过迭代检索和推理解决需要综合多个信息源才能回答的复杂问题。
这种方法模拟人类的思考过程先检索相关信息再基于这些信息进行推理可能需要多次迭代才能得到最终答案。
# 多跳推理实现示例defmulti_hop_rag(query,max_hops
:contextforhopinrange(max_hops):# 构建包含上下文的提示promptf 问题:{query}已知信息:{context}请基于以上信息回答问题如果有需要进一步了解的信息请提出后续问题。
# 获取模型回答responsellm(prompt)# 提取后续问题或最终答案ifhopmax_hops-1:follow_up_questionextract_question(response)# 检索相关信息new_contextretrieve_documents(follow_up_question)contextnew_contextelse:returnresponsereturnresponse混合检索混合检索结合关键词检索(如BM
和语义检索(如向量相似度)充分利用两种检索方法的优势。
关键词检索擅长精确匹配语义检索擅长理解上下文两者结合可以显著提高检索质量。
# 混合检索实现fromhaystack.nodesimportBM25Retriever,EmbeddingRetriever# 初始化两种检索器bm25_retrieverBM25Retriever(document_storedocument_store)embedding_retrieverEmbeddingRetriever(document_storedocument_store)# 混合检索函数defhybrid_retriever(query,bm25_weight
5,embedding_weight
0.
:# 获取两种检索结果bm25_resultsbm25_retriever.retrieve(query,top_k
embedding_resultsembedding_retriever.retrieve(query,top_k
# 合并结果combined_resultscombine_results(bm25_results,embedding_results,bm25_weightbm25_weight,embedding_weightembedding_weight)returncombined_results查询改写与扩展查询改写通过同义词扩展、语义转换等技术丰富查询表达提高召回率。
这种方法特别适用于用户查询表达不明确或知识库中使用了不同术语的情况。
# 查询改写示例defrewrite_query(original_query):# 使用LLM进行查询改写promptf 原始查询:{original_query}请提供
个与原始查询意思相同或相近的表达方式。
responsellm(prompt)rewritten_queriesextract_queries(response)# 添加原始查询rewritten_queries.insert(0,original_query)returnrewritten_queries# 使用改写后的查询进行检索defretrieve_with_rewrite(query):rewritten_queriesrewrite_query(query)all_results[]forqinrewritten_queries:resultsretriever.retrieve(q,top_k
all_results.extend(results)# 去重和重排序unique_resultsdeduplicate_and_rerank(all_results)returnunique_results知识图谱增强RAG知识图谱增强RAG通过结构化知识补充非结构化文本提供更精确的检索和推理能力。
这种方法特别适合需要精确关系和属性的领域。
# 知识图谱增强RAG示例fromrdflibimportGraph,URIRef,Literal# 构建简单知识图谱kgGraph()kg.add((URIRef(RAG),URIRef(type),Literal(技术)))kg.add((URIRef(RAG),URIRef(enhances),URIRef(LLM)))kg.add((URIRef(LLM),URIRef(type),Literal(大语言模型)))# 知识图谱检索defkg_retriever(query):# 将查询转换为SPARQLsparql_querygenerate_sparql(query)# 执行查询resultskg.query(sparql_query)# 转换为文档格式documentsconvert_to_documents(results)returndocuments# 结合文本和知识图谱的混合检索defhybrid_rag_with_kg(query):# 文本检索text_resultsretriever.retrieve(query,top_k
# 知识图谱检索kg_resultskg_retriever(query)# 合并结果combined_resultscombine_text_and_kg_results(text_results,kg_results)returncombined_resultsRAG应用场景企业知识库问答RAG可用于构建企业内部知识库问答系统帮助员工快速获取公司政策、流程文档等信息。
这种应用可以显著提高工作效率减少信息检索时间。
智能客服与支持结合公司产品知识和FAQRAG可以构建智能客服系统提供准确的产品信息和解决方案提高客户满意度同时减轻人工客服压力。
法律与医疗专业助手在法律和医疗等专业领域RAG可以结合专业文献和法规数据库为专业人士提供精准的参考信息和
案例分析辅助决策过程。
教育与培训个性化RAG可以基于教材和学习资料构建个性化教育助手根据学生的问题提供定制化的解释和补充材料提升学习效果。
金融分析与投资决策结合市场数据、公司财报和行业研究报告RAG可以帮助分析师快速获取相关信息辅助投资决策和风险评估。
未来发展趋势RAG技术正在向多模态扩展支持图像、音频等非文本信息的检索和生成。
自适应检索技术也在发展中系统能根据问题类型动态调整检索策略。
边缘RAG是一个重要趋势将RAG能力部署到终端设备减少对云端的依赖提高响应速度和数据隐私保护。
RAG与Agent结合正在成为新方向通过将RAG与自主代理能力结合构建能够持续学习和进化的智能系统。
随着大模型能力的不断提升RAG系统也将更加智能化和专业化在更多垂直领域展现价值。