核心内容摘要
7个强力调校技巧：NVIDIA Profile Inspector显卡优化工具让你的NVIDIA显卡性能提升30%
利用生成式AI进行多模态信息检索过去十年的大部分时间里机器学习严重依赖于嵌入的概念模型学习将输入数据转换为向量使得向量空间内的几何关系具有语义含义。
例如在表示空间中嵌入相近的词可能具有相似的含义。
嵌入概念意味着一个明显的信息检索范式查询被嵌入到表示空间中模型选择嵌入最接近它的响应。
这也适用于多模态信息检索因为文本和图像可以被嵌入到同一个空间。
然而最近生成式AI主导了机器学习研究。
在2025年计算机视觉与模式识别会议上我们发表了一篇论文将基于机器学习的信息检索更新到生成式AI时代。
我们的模型被命名为GENIUS是一个多模态模型其输入和输出可以是图像、文本或图文对的任意组合。
与将查询向量与每个可能的响应向量进行比较相比我们的模型将查询作为输入并生成一个单一的ID代码作为输出。
这种方法以前尝试过但GENIUS显著改进了先前基于生成的信息检索方法。
在使用三个不同指标的测试中GENIUS比先前性能最佳的生成检索模型的性能提升了22%到36%。
当我们随后使用传统的基于嵌入的方法对生成的前几个候选响应进行重新排序时性能进一步提升了31%到56%显著缩小了基于生成的方法与基于嵌入的方法之间的差距。
范式转变信息检索是从大型数据库中查找相关信息的过程。
传统的基于嵌入的检索将查询和数据库项都映射到高维空间并使用余弦相似度等度量来测量相似性。
虽然有效但随着数据库的增长这些方法面临可扩展性问题因为索引构建、维护和最近邻搜索的成本在增加。
生成式检索已成为一种有前景的替代方案。
生成模型不嵌入项目而是直接基于查询生成目标数据的标识符。
这种方法能够实现恒定时间的检索而不管数据库大小如何。
然而现有的生成方法通常是特定于任务的在性能上不及基于嵌入的方法并且难以处理多模态数据。
GENIUS与局限于单模态任务或特定基准的先前方法不同GENIUS可以推广到文本、图像和图文对的检索保持高速度和具有竞争力的准确性。
其相对于先前基于生成的模型的优势基于两项关键创新语义量化在训练期间模型的目标输出ID通过残差量化生成。
每个ID实际上是一个代码序列第一个代码定义了数据项的模态随后的代码更具体地定义了数据项在表示空间中的区域。
模型试图从输入编码中学习重现代码序列。
查询增强语义量化产生了一个模型可以为熟悉类型的对象和文本生成准确的ID代码但可能难以泛化到新的数据类型。
为了解决这个限制我们使用查询增强。
对于具有代表性的查询-ID对样本我们通过在表示空间中的初始查询和目标ID之间进行插值来生成新查询。
这样模型学习到多种查询可以映射到同一个目标这有助于其泛化。
结果在使用M-BEIR基准的实验中GENIUS在COCO数据集上的文本到图像检索的Recall5指标上超越了最佳生成检索方法
2
6分。
通过基于嵌入的重新排序GENIUS在M-BEIR基准上经常取得接近基于嵌入基线模型的结果同时保留了生成式检索的效率优势。
GENIUS在生成式方法中实现了最先进的性能并缩小了生成式方法与基于嵌入方法之间的性能差距。
随着数据集的增长其效率优势变得更加显著无需像基于嵌入的方法那样进行昂贵的索引构建即可保持高检索速度。
因此它代表了生成式多模态检索领域的重要进展。
FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife