核心内容摘要
520886美国版照片：解锁跨越山海的爱意表达
在上文中我们了解到大模型在广泛应用中会伴随着出现一些问题所以出现了RAG解决大模型问题的另一种途径就是Fine-Tune。
微调Fine-Tune简单来说就是在较小的特定数据集上对其进行进一步训练的过程。
既然出现了2种以上的解决方案那在我们大模型的应用过程中就会伴随着一个问题出现当开箱即用的预训练LLM没有按预期或希望执行时如何提高LLM应用的性能的问题。
最终我们会问自己我们应该使用检索增强生成RAG还是模型微调来改善结果RAG的概念我们在上一篇中已经深入介绍过了我们再来简单了解下Fine-TuneFine-TuneFine-Tuning (微调) 是机器学习和 NLP 领域的一个核心概念指的是在一个已经预训练好的模型基础上进行微调使其更好地适应特定任务或数据集的过程。
这种方法在大语言模型中十分常见因为它允许开发者利用在大量数据上预训练的模型 (如BERT、GPT等) 的通用知识通过在特定任务的较小数据集上进行进一步训练来快速提高模型在这个任务上的性能。
通过微调可以根据我们的数据调整模型的权重使其更适合我们应用程序的独特需求。
RAG VS Fine-Tune从基本的架构流程上我们来对比一下合理的选择根据RAG和Fine-Tune各自的特性我们需要作出合理的选择也正是因为两者有各自的特性RAG和微调之间的细微差别涵盖了模型架构、数据需求、计算复杂性等方面所以我们不同的选择在项目的最终结果上也会产生巨大的差别在特定任务的场景中由于模型性能不佳导致输出结果与理想结果相去甚远。
如果使用的技术没有对使用情况进行针对性优化模型训练和推断的计算成本会大幅增加。
如果后续转向不同的技术需要额外的开发和迭代时间。
如果选择过于复杂的适应方法模型的可解释性会受到影响。
由于大小或计算约束将模型部署到生产环境中存在困难。
方案选择的参考参考指标关键因素评价在进行方案选型之前我们可以先结合实际项目和需求情况从如下6个角度进行思考评估rust 题外话 截止目前作者还未真正在实际项目中遇到需要在二者方案做选择的场景最近看到一本书里写到的 --保持头脑的开放性 我们用多元思维模型来思考问题尤其现代社会知识爆炸新的、颠覆性的概念层出不穷过去面对确定、已知知识的学习态度可能不满足我们现在的需求了。
大数据、物联网、人工智能。
。
。
。
今天看到的到明天也不一定就是对的尤其现在LLM大家都在不停的尝试。
今天我们所写的RAG与Fine-Tune怎么选择是好的不会有答案他能给我们点提示就已经很好了。
希望不断地学习和阅读能够点亮更多的灯塔来指引和照亮我们自己前行的道路。
以下的评价因素是我参考了文章 https://www.wehelpwin.com/article/
用例需要访问外部数据源吗面对一个大模型在判断选择微调还是使用 RAG 时一个关键考虑因素是应用程序是否需要访问外部数据源。
如果答案是肯定的那么 RAG 可能是更好的选择。
RAG 旨在通过从知识来源检索相关信息然后生成响应来增强大模型的能力。
这使得这种技术非常适用于需要查询数据库、文档或其他结构化和非结构化数据存储库的应用程序。
检索器和生成器组件可以优化以利用这些外部来源。
相比之下虽然可以对大模型进行微调以学习一些外部知识但这需要一个大型的标记数据集其中包含来自目标领域的问答对。
随着基础数据的变化这个数据集必须进行更新这使得它在数据源频繁变化的情况下变得不切实际微调过程也没有明确地对涉及查询外部知识的检索和推理步骤进行建模。
因此如果应用程序需要利用外部数据源使用RAG 技术可能比仅仅通过微调来“内置”所需的知识更有效和可扩展。
需要修改模型的行为、写作风格或领域特定知识吗另一个非常重要的考虑因素是需要模型调整其行为、写作风格或为特定领域的应用量身定制回答的程度。
微调在使大模型适应特定细微差别、语调或术语方面表现出色如果希望模型听起来更像金融专业人士或者以鲁迅风格写作或者使用特定行业的专用术语进行表达那么在这些数据基础上进行定制可以实现更好的效果影响模型行为的能力对于需要与特定风格或领域专业知识保持一致的应用程序至关重要。
RAG 技术虽然在整合外部知识方面很强大但主要专注于信息检索并不会根据检索到的信息固有地调整其语言风格或领域特定性。
它会从外部数据源中提取相关内容但可能不会展现出经过精细调整的模型所能提供的定制细微差别或领域专业知识。
因此如果应用程序需要专业的写作风格或与特定领域的术语和惯例深度契合微调提供了更直接的实现途径。
它通过定制化确保与特定受众或专业领域真正共鸣确保生成内容的真实感。
对于 “幻觉” 的容忍程度如何大模型的一个缺点是在使用过程中产生不可控的 “幻觉”即编造没有现实基础的事实或细节。
在精确性和真实性至关重要的应用场景中这可能会带来比较严重的问题。
微调可以通过将模型基于特定领域的训练数据来一定程度上减少幻觉。
然而当面对不熟悉的输入时模型仍可能会制造虚假的回应。
需要重新训练以持续减少幻觉回复。
相比之下RAG 由其特性决定天生更不容易产生幻觉因为相关回答会基于检索到的依据。
检索器在生成器构建答案之前从外部知识源中识别相关事实。
这一检索步骤充当事实核查机制降低了大模型产生虚构内容的可能生成器会一定程度受限于合成受检索上下文支持的回应。
因此在面对幻觉限制严格的应用场景中RAG 系统提供了内置机制来最小化幻觉。
可供使用的标记后训练数据有多少在选择 RAG 和微调之间时还需要考虑手头拥有的领域或任务特定的标记训练数据的数量。
对大模型进行微调时严重依赖于可用的标记数据的质量和数量。
丰富的数据集可以帮助模型深入理解特定领域的内涵、复杂性和独特模式从而使其能够生成更准确和与上下文相关的响应。
然而如果使用的是有限的数据集微调可能带来的改进可能是微不足道的。
在某些情况下内容有限的数据集甚至可能导致过拟合即模型在训练数据上表现良好但丧失了原本具有的通用能力。
相反RAG 与训练数据无关因为利用的是外部知识源来检索相关信息。
即使没有大量标记的数据集RAG 仍然可以通过访问和整合来自外部数据源的见解来展现出色表现。
检索和生成的结合确保系统保持了解即使场景特定的训练数据很少。
在实际中如果拥有大量从场景获取到的复杂性标记数据微调可以提供更贴合和精细的模型行为。
但在数据有限的情况下RAG 提供了一个强大的替代方案通过其检索能力确保应用程序保持数据驱动和上下文语境。
数据是静态的还是动态的在选择 RAG 和微调之间时还有一个需要考虑的基础方面是数据的动态性数据更新频率如何模型保持最新状态有多重要在特定数据集上微调模型意味着模型的知识范围变成了训练时数据的静态快照。
如果数据经常更新、改变或扩展很快就会使模型过时。
为了在这样动态的环境中保持模型的时效性就需要经常重新训练它这个过程可能既耗时又资源密集。
此外每次迭代都需要详细测试以确保更新后的模型在不同场景下仍然表现良好并且没有产生新的偏见或理解上的偏差。
比较而言RAG 在动态数据环境中具有优势。
它的检索机制不断查询外部来源确保生成响应所使用的信息是最新的。
随着外部知识库或数据库的更新RAG 可以无缝集成这些变化保持其相关性而无需频繁重新训练模型。
如果当前正在应对快速发展的数据格局RAG 提供了一种传统微调很难实现的灵活性。
通过始终与最新数据保持连接RAG 确保生成的响应与当前信息状态保持一致使其成为动态数据场景的理想选择。
对大模型在应用过程中的可解释性要求如何大模型虽然能力强大但操作方式类似黑匣子其响应背后的推理决策难以理解。
仅着眼于模型内部吸收数据集的信息很难确定每个响应的确切来源或推理过程。
这可能会让开发人员或用户难以信任模型的输出特别是在理解答案背后的“为什么”至关重要的关键应用中。
另一方面RAG 系统提供了一定程度的透明度这种透明度通常不会出现在微调后的模型中。
考虑到 RAG 的两步性质 “先检索后生成” 用户可以窥视这个过程。
检索组件允许检查选择哪些外部文档或数据点相关。
这提供了一系列有形的证据或参考资料可以对其进行评估从而理解构建回应的基础。
在需要高度可靠性的应用程序中或者在需要验证生成内容的准确性时追溯模型对特定数据源的回答的能力是非常宝贵的。
如果透明度和解释模型响应基础是优先考虑的话RAG 提供了明显的优势。
通过将响应生成分解为不同阶段并允许洞察其数据检索RAG 促进了对其输出的更大信任和理解。
总结-混合增强策略或许是更好的办法正如我们所探讨的在 RAG 和微调之间进行选择需要对 LLM 申请的独特需求和优先级进行细致的评估。
没有一种万能的解决方案成功在于使优化方法与任务的具体要求保持一致。
通过评估关键标准对外部数据的需求、调整模型行为、训练数据可用性、数据动态、结果透明度等组织可以就最佳前进路径做出明智的决策。
在某些情况下同时利用 RAG 和微调的混合方法可能是最佳选择。
想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容
学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI
100本大模型方向电子书
26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC
实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
600套技术大会 PPT听行业大咖讲实战PPT 整理自
年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌
107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自
年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析
102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑
97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”
路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。
L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、
关键技术以及大模型应用场景。
L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。
L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
L5阶段专题集丨特训篇 【录播课】