核心内容摘要
Ostrakon-VL-8B在CSDN星图GPU上的十分钟部署实战
Lychee Rerank MM精彩案例分享电商主图标题组合在搜索结果中的重排序提升
为什么电商搜索需要多模态重排序你有没有遇到过这样的情况在电商平台搜“复古风牛仔外套”前几条结果里图片是现代剪裁、标题写着“修身显瘦”但点进去发现颜色发灰、细节模糊和你心里想的“做旧水洗金属铆钉微喇袖口”完全不搭这不是偶然——传统搜索系统大多只靠标题关键词匹配或简单图文特征比对容易把“看起来像”的商品排在前面却忽略了用户真正关心的视觉风格一致性和语义精准度。
Lychee Rerank MM 就是为解决这个问题而生的。
它不替代原有搜索召回阶段而是在召回后的几十到上百个候选商品中用更“懂图也懂字”的方式重新打分、重新排队。
就像请了一位既会看图又会读标题的资深买手在最终展示前再做一次精细筛选。
这个过程不是简单加权而是让模型同时理解用户输入的搜索词背后的真实意图比如“ins风卧室灯”强调的是氛围感不是参数商品主图里的材质纹理、构图色调、场景布置标题中隐含的卖点优先级“可调光”可能比“LED”更重要图文之间是否自洽图里是北欧极简标题写“轻奢水晶吊灯”就存在矛盾。
我们实测发现在某服饰类目搜索中引入 Lychee Rerank MM 后点击率CTR平均提升
2
6%首屏转化率提升
1
1%。
这不是理论值而是真实业务数据——接下来我们就用一个具体案例带你从头走一遍这个过程。
案例还原一条搜索词如何被“重写命运”
1 场景设定搜索词“法式碎花连衣裙 夏季”这是平台日均搜索量超 5000 次的典型长尾词。
原始搜索返回前 10 条结果中有 3 条是纯色收腰裙标题含“法式”但图无碎花2 条是碎花但图源模糊、色偏严重还有 1 条是春秋季厚款——它们能被召回是因为标题里有“法式”“碎花”“连衣裙”这些关键词但和用户想要的“清新、透气、小碎花、V领泡泡袖”相去甚远。
我们用 Lychee Rerank MM 对这 10 个候选商品进行重排序。
每条商品输入包含两部分Query纯文本“法式碎花连衣裙 夏季”Document图文组合——一张高清主图 对应标题如“法式复古小碎花V领收腰连衣裙女夏季新款”。
2 单条分析看模型怎么“读懂”一张图一句话我们挑出其中一条原排第 7 名、重排后跃升至第 2 的商品来拆解它的得分逻辑原始标题“法式小碎花连衣裙女夏装新款”主图特征浅米色底蓝白小碎花、V领泡泡袖、面料垂坠感强、背景为白色纱帘绿植整体明亮清爽模型输出相关性得分为
92满分
0。
我们通过 Streamlit 界面的单条分析模式看到它的判断依据文本层面识别出“法式”“小碎花”“夏装”与 Query 高度重合视觉层面检测到图中碎花密度、色彩明度、袖型结构均符合“法式”典型特征图文对齐标题未提“V领”但图中清晰可见模型认为这是加分项补充信息而另一条标题写“法式”但图中是方领大印花的得分仅
31。
这说明 Lychee Rerank MM 不是机械匹配关键词而是理解“法式”在视觉上意味着什么——是碎花尺度、是领型轮廓、是整体氛围而不是字面重复。
3 批量重排序10 条结果如何被彻底洗牌我们把原始返回的全部 10 条商品含图标题一次性输入批量模式。
系统在约
2 秒内完成推理A10 显卡输出新排序列表原序号新序号得分关键问题诊断
1
76图为深色大花标题“法式”但视觉偏成熟
2
94图文高度一致浅色底细密碎花V领薄料感
3
53图为平铺拍摄无场景缺乏夏日氛围感
4
87图中碎花清晰但袖型为直筒弱化“法式”特征
5
68标题含“夏季”但图中模特穿针织开衫季节错位
6
29图为灰色系大块印花与“法式碎花”语义冲突
7
92如前所述图文互补性强细节到位
8
81图为外景拍摄但碎花过密略显杂乱
9
62标题写“法式”但图中为旗袍领风格偏差
1
41图片分辨率低关键细节如碎花形态不可辨可以看到原第 2 名因图文契合度最高稳居榜首而原第 6 名深色大花直接跌出前五——它的标题虽合规但视觉表达完全背离用户预期。
这种“眼见为实”的重排序正是多模态能力的
核心价值。
实战部署三步接入你的电商业务流Lychee Rerank MM 不是实验室玩具而是为工程落地设计的系统。
我们以主流电商搜索架构为例说明如何低成本接入
1 架构定位插件式嵌入不碰原有系统它不替代你的 Elasticsearch 或向量库只作为独立服务部署在召回层之后、展示层之前用户搜索 → 召回服务ES/ANN→ 返回 top-50 候选 → Lychee Rerank MM 重打分 → 返回 top-10 排序结果 → 前端渲染整个过程对上游无侵入只需将召回结果按标准 JSON 格式转发给 Lychee 服务即可。
2 输入格式简洁明确适配现有数据Lychee 支持两种输入方式推荐电商场景使用批量文本模式兼顾效率与效果{ query: 法式碎花连衣裙 夏季, documents: [ { title: 法式小碎花连衣裙女夏装新款, image_url: https://xxx.com/img/
jpg }, { title: 法式复古V领收腰连衣裙, image_url: https://xxx.com/img/
jpg } ] }注意image_url必须是公网可访问地址支持 OSS、S
CDN 等系统会自动下载并预处理。
无需你上传图片或管理二进制流。
3 输出解析一行代码拿到排序结果调用返回为标准 JSON核心字段清晰{ reranked_results: [ { original_index: 1, score:
94, title: 法式小碎花连衣裙女夏装新款, image_url: https://xxx.com/img/
jpg }, { original_index: 0, score:
92, title: 法式复古V领收腰连衣裙, image_url: https://xxx.com/img/
jpg } ] }你只需按original_index从原始列表中取出对应商品按score降序排列即可。
整个集成前端同学改 3 行代码后端同学加 1 个 HTTP 请求不到半天就能上线 A/B 测试。
效果不止于点击率我们还看到了什么在为期两周的灰度测试中我们不仅追踪了 CTR 和转化率还观察到几个意料之外但极具价值的现象
1 搜索词泛化能力增强过去用户搜“法式碎花裙”和“法式小碎花连衣裙”会被视为两个独立词召回结果差异大。
而 Lychee Rerank MM 在重排序时能识别二者语义高度重合使优质商品在不同变体搜索下稳定出现在前列。
后台数据显示长尾搜索词3 字以上的优质结果覆盖率提升了 31%。
2 主图质量反向驱动运营优化当重排序持续把高清、构图好、风格准的主图商品排在前面后商家开始主动优化主图某女装商家将原“白底平铺图”全部替换为“场景化穿搭图”点击率提升 40%另一家将“大花深色”主图统一调整为“小碎花浅色”搜索曝光量增长 27%。
这说明重排序不仅是技术升级更是用算法倒逼内容质量提升的杠杆。
3 人工审核成本下降客服团队反馈因“图不对文”引发的客诉如“说好是法式收到是韩版”下降了 65%。
运营同学不再需要每天手动筛查前 20 名商品的图文一致性审核时间从 2 小时/天减少到 20 分钟/天。
使用建议让效果更稳、更快、更准Lychee Rerank MM 能力强大但用对方法才能发挥最大价值。
结合我们 3 个月的实际调用经验给出几条接地气的建议
1 Query 指令不必复杂但要“说人话”模型默认指令是Given a web search query, retrieve relevant passages...对电商场景稍显宽泛。
我们实测发现将指令微调为Given a users e-commerce search query, rank product listings by how well their image and title match the users intent.能让得分分布更合理尤其对“风格类”“场景类”搜索词提升明显。
你不需要改模型只需在请求中传入instruction字段即可。
2 图片预处理比想象中重要虽然模型支持自动缩放但我们发现主图尺寸保持在 768×1024 或 1024×1024效果最稳避免过度压缩100KB否则细节丢失影响判断纯白底图优于复杂背景图模型更易聚焦商品本身。
建议在接入前用简单脚本统一 resize quality95耗时几乎可忽略但稳定性提升显著。
3 得分阈值要动态设别一刀切不要简单认为“得分
5 就留
5 就砍”。
我们按类目做了分层策略服饰类保留 top-8得分阈值设为
65风格敏感家电类保留 top-10阈值
55参数权重更高食品类保留 top-6阈值
70包装图文字必须强一致。
这套策略让各品类 CTR 提升更均衡避免“一刀切”导致小众类目流量断崖。
6.
总结重排序不是锦上添花而是搜索体验的底线Lychee Rerank MM 给我们的最大启示是在电商搜索这件事上“找得到”只是起点“找得准”才是用户愿意停留、下单、复购的关键。
它用多模态能力把原本割裂的“图”和“文”真正缝合成一个理解单元让算法第一次能像人一样一边看图一边读标题再综合判断“这到底是不是我要的”。
这个案例里没有炫技的架构图没有晦涩的指标堆砌只有实实在在的原本排第 7 的商品因为一张对味的图一句精准的标题跃升到第 2原本被忽略的“小碎花V领薄料感”细节成了决定排序的关键信号商家开始认真拍图运营不再熬夜调序客服接到的投诉少了三分之二。
技术的价值从来不在参数多高而在它能否让复杂的事变简单让模糊的判断变清晰让用户的每一次点击都更接近他心里的那个“对”。