核心内容摘要
国产精品1区：匠心铸就，视界革新
Agent 系统发展得这么快那么检索模型还重要吗RAG 本身都已经衍生出 Agentic RAG和 Self-RAG 这些更复杂的变体了。
答案是肯定的无论 Agent 方法在效率和推理上做了多少改进底层还是离不开检索。
检索模型越准需要的迭代调用就越少时间和成本都能省下来所以训练好的检索模型依然关键。
讨论 RAG 怎么用的文章铺天盖地但真正比较检索模型学习方式的内容却不多见。
检索系统包含多个组件检索嵌入模型、索引算法HNSW 之类、向量搜索机制余弦相似度等以及重排序模型。
这篇文章只聚焦检索嵌入模型的学习方式。
本文将介绍我实验过的三种方法Pairwise cosine embedding loss成对余弦嵌入损失、Triplet margin loss三元组边距损失、InfoNCE loss。
成对余弦嵌入损失正样本对示例负样本对示例输入是一对文本加一个标签标签标明这对文本是正匹配还是负匹配。
和 MNLI 数据集里的蕴含、矛盾关系类似。
损失函数用的是余弦嵌入损失x 和 y 分别是文本对的嵌入向量。
三元组边距损失输入变成三个文本一个锚文本、一个正匹配、一个负匹配。
损失函数是 Triplet Margin Loss。
公式里 a 代表锚文本嵌入p 代表正样本嵌入n 代表负样本嵌入。
InfoNCE 损失输入包括一个查询、一个正匹配、一组负样本列表。
损失函数采用 InfoNCE灵感来自 M3-Embedding 论文arxiv:
2
03216。
公式中 p* 是正样本嵌入P’ 是负样本嵌入列表q 是查询嵌入s(.) 表示相似度函数比如余弦相似度。
比较哪种方法最好要看具体场景、数据量和算力。
从我的实验来看InfoNCE 覆盖面最广。
但只要实验做得够充分、训练数据比例调得够细余弦嵌入损失也能达到差不多的效果。
三元组边距损失我没有深入探索不过它可能是介于另外两者之间的一个折中选项。
学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】