核心内容摘要
从零构建：基于STM32与多传感器融合的便携式健康监测终端
AI原生应用开发如何选择合适的相似度匹配算法关键词相似度匹配算法、AI原生应用、欧氏距离、余弦相似度、局部敏感哈希、Siamese网络、推荐系统摘要在AI原生应用中相似度匹配是实现智能推荐、精准搜索、内容理解的核心技术。
本文将从“为什么需要相似度匹配”出发用“选奶茶口味”“图书馆找书”等生活案例拆解欧氏距离、余弦相似度、局部敏感哈希LSH、Siamese网络等主流算法的底层逻辑结合电商推荐、医疗诊断、多模态交互等真实场景手把手教你根据数据类型、规模、精度需求选择最合适的算法。
背景介绍目的和范围AI原生应用如智能助手、个性化推荐、医疗影像分析的核心是“理解数据间的关联”。
例如推荐系统需要判断“用户A可能喜欢商品X”本质是计算“用户A的行为数据”与“商品X特征”的相似度。
本文将覆盖90%AI场景常用的相似度算法帮开发者快速掌握“选算法”的决策逻辑。
预期读者初级/中级AI开发者想了解算法原理与选择依据产品经理理解技术边界优化需求设计技术管理者把控技术选型方向文档结构概述本文将按“概念→原理→实战→选择指南”的逻辑展开先通过生活案例理解“相似度”是什么再拆解5类主流算法的数学公式与适用场景最后用电商推荐的实战案例演示“如何选、如何用”。
术语表术语通俗解释相似度匹配计算两个对象“有多像”的过程比如比较两杯奶茶的口味是否接近。
向量数据的数学表示比如用[甜度:3, 奶味:5, 茶味:7]表示一杯奶茶的特征。
高维数据特征很多的数据比如用100个标签描述一个用户的兴趣如运动、音乐、美食…。
嵌入Embedding将文字、图片等非结构化数据转化为向量的过程比如把“冰美式”转成[
2,
8, -
1]这样的数字。
核心概念与联系从“奶茶口味匹配”说起故事引入奶茶店的“隐藏菜单”假设你开了一家奶茶店想给老顾客推荐“可能喜欢的新口味”。
比如顾客A常点“三分糖、奶盖多、茶味浓”新口味B是“四分糖、奶盖中、茶味浓”如何判断A会不会喜欢B这就是典型的“相似度匹配”问题——我们需要计算“顾客A的偏好向量”和“新口味B的特征向量”的相似度值越高推荐越准。
核心概念解释像给小学生讲故事概念一基于距离的相似度欧氏距离/曼哈顿距离想象你在地图上找两家奶茶店的位置A店在3,5B店在5,7两家店的直线距离就是欧氏距离√[(5-
²(7-
²]。
同理两个向量的“距离”越小说明它们越相似。
生活类比比较两杯奶茶的甜度、奶味、茶味用“总差异值”判断是否相似差异越小越像。
概念二基于方向的相似度余弦相似度你和朋友选奶茶你喜欢“甜度高、奶味低”向量像箭头朝东北朋友喜欢“甜度超高、奶味超低”箭头朝东北但更长。
虽然你们的口味“量”不同一个甜3分一个甜5分但“方向”相同都爱甜奶余弦相似度就是计算两个箭头方向的夹角夹角越小越像。
生活类比判断两个人“口味偏好是否一致”比如都爱甜酸比“具体甜几分”更重要。
概念三基于哈希的快速匹配局部敏感哈希LSH图书馆找书时管理员会把“计算机类”的书放在A区“文学类”放在B区。
局部敏感哈希就像给每本书贴“区域标签”相似的书会被分到同一区域查询时只需搜一个区域不用翻遍整个图书馆。
生活类比快速筛选“可能相似”的候选集再精确比较。
概念四基于深度学习的语义匹配Siamese网络传统算法只能比较“表面特征”如甜度、奶味但深度学习能学“隐藏语义”。
比如“少糖去冰”和“微糖常温”表面差异大但实际都是“清淡口感”Siamese网络能像“奶茶品鉴师”一样通过大量数据学会这种“深层相似性”。
生活类比从“看表面”到“懂内涵”比如识别“可乐加冰”和“雪碧加冰”都属于“清爽饮品”。
核心概念之间的关系用小学生能理解的比喻距离vs方向欧氏距离看“离得多近”余弦相似度看“方向是否一致”。
就像选奶茶有人关注“甜度差
5分”距离有人关注“都爱甜茶”方向。
传统vs深度学习传统算法像“手动打分”需要人定义特征深度学习像“自动学习”机器自己发现隐藏的相似规则。
哈希vs精确匹配LSH是“快速筛候选”欧氏/余弦是“精确算分”就像“先找同口味区域的奶茶再挑最爱的那杯”。
核心概念原理的文本示意图相似度匹配算法家族 ├─ 传统算法人工定义特征 │ ├─ 基于距离欧氏距离、曼哈顿距离 │ └─ 基于方向余弦相似度、皮尔逊相关系数 ├─ 快速匹配算法 │ └─ 局部敏感哈希LSH将相似数据映射到同一桶 └─ 深度学习算法自动学习特征 └─ Siamese网络、Sentence-BERT学习语义级相似性Mermaid 流程图相似度匹配的通用流程小数据/低维大数据/高维语义/多模态原始数据特征提取转成向量选择算法类型欧氏距离/余弦相似度LSH快速筛选候选Siamese网络学习嵌入计算相似度分数候选集内精确计算用嵌入向量计算余弦相似度输出最相似结果核心算法原理 具体操作步骤
基于距离的算法欧氏距离Euclidean Distance数学公式两个向量 ( \mathbf{x} (x_1, x_2, …, x_n) ) 和 ( \mathbf{y} (y_1, y_2, …, y_n) ) 的欧氏距离为d(x,y)∑i1n(xi−yi)2 d(\mathbf{x}, \mathbf{y}) \sqrt{\sum_{i1}^{n} (x_i - y_i)^2}d(x,y)i1∑n(xi−yi)2特点数值越小相似度越高对向量的绝对差异敏感适合“量”差异重要的场景。
Python代码示例importnumpyasnpdefeuclidean_distance(x,y):returnnp.sqrt(np.sum((x-y)**
)# 示例比较两杯奶茶的特征向量甜度、奶味、茶味奶茶Anp.array([3,5,7])# 三分甜奶味5茶味7奶茶Bnp.array([4,4,7])# 四分甜奶味4茶味7print(f欧氏距离{euclidean_distance(奶茶A,奶茶B):.2f})# 输出
41差异小较相似
基于方向的算法余弦相似度Cosine Similarity数学公式cos(θ)x⋅y∥x∥∥y∥ \cos(\theta) \frac{\mathbf{x} \cdot \mathbf{y}}{\|\mathbf{x}\| \|\mathbf{y}\|}cos(θ)∥x∥∥y∥x⋅y其中 ( \mathbf{x} \cdot \mathbf{y} ) 是点积( |\mathbf{x}| ) 是向量的模长( \sqrt{x_1^2 x_2^2 … x_n^2} )。
特点值范围[-1,1]越接近1越相似只关注向量方向适合“比例”差异重要的场景。
Python代码示例defcosine_similarity(x,y):returnnp.dot(x,y)/(np.linalg.norm(x)*np.linalg.norm(y))# 示例用户A偏好[甜:3, 奶:5, 茶:7]用户B偏好[甜:6, 奶:10, 茶:14]方向相同比例翻倍用户Anp.array([3,5,7])用户Bnp.array([6,10,14])print(f余弦相似度{cosine_similarity(用户A,用户B):.2f})# 输出
0方向完全一致
快速匹配算法局部敏感哈希LSH核心思想设计一种哈希函数让相似的向量以高概率映射到同一个“桶”Bucket查询时只需检查同一桶内的向量大幅减少计算量。
关键步骤以文本哈希为例生成多个随机哈希函数如随机投影向量。
对每个向量用哈希函数计算其所属的桶。
查询时只比较与查询向量同桶的候选向量。
Python代码示例简化版importrandomclassLSH:def__init__(self,dim,n_buckets
:self.random_vectors[np.random.randn(dim)for_inrange(n_buckets)]# 随机投影向量defget_bucket(self,vector):# 计算向量与每个随机向量的点积符号决定桶编号return[np.sign(np.dot(vector,rv))forrvinself.random_vectors]# 示例将1000个高维用户向量分桶user_vectorsnp.random.randn(1000,
# 1000个用户每个用128维向量表示lshLSH(dim
buckets[lsh.get_bucket(vec)forvecinuser_vectors]# 每个用户得到一个桶标签
深度学习算法Siamese网络核心原理通过孪生神经网络共享参数的两个子网络将输入的两个对象如图像、文本映射到同一嵌入空间然后计算嵌入向量的相似度。
网络通过对比损失Contrastive Loss学习“相似对象距离近不相似距离远”。
数学模型对比损失L(1−y)⋅12D2y⋅12max(0,m−D)2 L (1 - y) \cdot \frac{1}{2} D^2 y \cdot \frac{1}{2} \max(0, m - D)^2L(1−y)⋅21D2y⋅21max(0,m−D)2其中 ( y ) 是标签1表示相似0表示不相似( D ) 是嵌入向量的欧氏距离( m ) 是设定的边界如
0。
PyTorch代码示例简化版importtorchimporttorch.nnasnnclassSiameseNetwork(nn.Module):def__init__(self):super().__init__()self.encodernn.Sequential(nn.Linear(128,
,# 假设输入是128维的文本嵌入nn.ReLU(),nn.Linear(64,
# 输出32维的语义嵌入)defforward(self,x1,x
:embed1self.encoder(x
embed2self.encoder(x
returnembed1,embed2# 计算对比损失defcontrastive_loss(embed1,embed2,label,margin
1.
:distancetorch.nn.functional.pairwise_distance(embed1,embed
loss(1-label)*
5*distance**2label*
5*torch.clamp(margin-distance,min
0.
**2returnloss.mean()数学模型和公式 详细讲解 举例说明欧氏距离 vs 余弦相似度为什么高维数据更爱余弦在高维空间中如1000维的用户兴趣向量欧氏距离会“失真”——因为高维向量的模长差异大比如有人兴趣广泛向量模长100有人兴趣单一模长10但欧氏距离会把模长差异算进去导致“兴趣方向相同但广度不同”的用户被误判为不相似。
而余弦相似度只看方向兴趣类型比例不看模长兴趣广度更适合高维场景。
举例用户A的兴趣向量[运动:
8, 音乐:
2, 美食:
0]模长≈
82用户B的兴趣向量[运动:
4, 音乐:
1, 美食:
0]模长≈
41欧氏距离√[(
8-
0.
² (
2-
0.
²] ≈
41余弦相似度(
0.
8
4
0.
20.
/(
82*
0.
≈
99方向几乎相同LSH的“局部敏感”是什么意思局部敏感哈希的“局部”指“相似数据”“敏感”指“相似数据会被哈希到同一桶的概率高”。
例如若两个向量的余弦相似度
8LSH有90%概率将它们分到同一桶若相似度
5只有10%概率。
这种特性让LSH在大数据场景下如10亿级用户能快速缩小候选集从10亿到1000再用余弦相似度精确计算。
Siamese网络的“语义匹配”强在哪传统算法依赖人工定义特征如“甜度”“奶味”但无法捕捉“少糖去冰”和“微糖常温”都属于“清淡口感”的语义。
Siamese网络通过大量数据学习能自动发现这种“隐藏关联”。
例如在医疗场景中它能识别“发热咳嗽”和“体温38℃干咳”是相似的症状组合。
项目实战电商商品推荐中的相似度匹配开发环境搭建语言Python
9库Pandas数据处理、Scikit-learn传统算法、FAISSLSH加速、PyTorch深度学习数据某电商的10万条商品数据标题、类别、价格、用户评价关键词源代码详细实现和代码解读步骤1数据预处理转成向量将商品标题用Sentence-BERT转成768维的语义嵌入自动捕捉“夏季连衣裙”和“清凉女裙”的相似性。
fromsentence_transformersimportSentenceTransformer modelSentenceTransformer(all-MiniLM-L6-v
# 预训练的文本嵌入模型商品标题列表[夏季碎花连衣裙,清凉薄款女裙,冬季加绒外套,...]商品嵌入model.encode(商品标题列表)# 输出形状(100000,
步骤2根据数据规模选择算法场景1实时推荐用户点击商品后需要
1秒内返回10个相似商品数据规模大10万商品需快速筛选候选→用LSH余弦相似度。
importfaiss# Facebook的高效相似性搜索库# 用FAISS构建LSH索引基于余弦相似度dimension768nlist1000# 分成1000个桶quantizerfaiss.IndexFlatIP(dimension)# 内积余弦相似度的线性变换indexfaiss.IndexIVFFlat(quantizer,dimension,nlist,faiss.METRIC_INNER_PRODUCT)index.train(商品嵌入)# 训练LSH的分桶规则index.add(商品嵌入)# 插入所有商品向量# 查询找与“夏季碎花连衣裙”最相似的10个商品查询嵌入model.encode([夏季碎花连衣裙])k10distances,indicesindex.search(查询嵌入,k)#
01秒内完成相似商品IDindices[0]# 前10个最相似的商品ID场景2精准推荐用户填写偏好后需考虑价格、类别等多维度数据规模小1000个候选需精确计算→用欧氏距离综合考虑多维度差异。
fromsklearn.metrics.pairwiseimporteuclidean_distances# 假设商品特征包括语义嵌入768维、价格归一化到0-
类别独热编码8维商品综合特征np.hstack([商品嵌入,价格归一化,类别独热编码])# 总维度76818777# 计算用户偏好向量与所有商品的欧氏距离用户偏好向量np.random.randn(1,
# 假设用户偏好向量已生成相似度分数euclidean_distances(用户偏好向量,商品综合特征)最相似商品IDnp.argsort(相似度分数)[0][:10]# 取距离最小的10个场景3冷启动商品推荐新商品无用户行为数据需语义匹配需捕捉深层语义→用Siamese网络微调。
# 假设已有少量标注数据(商品A, 商品B, 是否相似)训练数据[(夏季连衣裙,清凉女裙,
,(冬季外套,夏季连衣裙,
,...]# 构建Siamese网络基于预训练的Sentence-BERTfromsentence_transformersimportlosses,SentenceTransformer,InputExample,DataLoader modelSentenceTransformer(all-MiniLM-L6-v
train_examples[InputExample(texts[text1,text2],labellabel)fortext1,text2,labelin训练数据]train_dataloaderDataLoader(train_examples,shuffleTrue,batch_size
train_losslosses.ContrastiveLoss(model)# 使用对比损失# 微调模型model.fit(train_objectives[(train_dataloader,train_loss)],epochs3,warmup_steps
# 用微调后的模型生成更精准的商品嵌入再计算余弦相似度代码解读与分析FAISS的LSH通过IVFFlat索引倒排文件平面索引将10万向量分桶查询时只搜索对应桶内的向量速度提升100倍以上。
欧氏距离的综合特征将语义、价格、类别等多维度特征拼接用欧氏距离综合衡量“整体差异”适合需要平衡多因素的推荐。
Siamese微调通过少量标注数据让模型更贴合业务场景如电商的“季节关联”比通用模型更敏感。
实际应用场景场景典型需求推荐算法原因电商商品推荐实时返回相似商品LSH余弦相似度数据量大需快速筛选语义相似比绝对差异更重要如“连衣裙”vs“女裙”。
医疗诊断症状匹配匹配相似病例Siamese网络需捕捉症状的语义关联如“发热咳嗽”vs“体温38℃干咳”。
图像搜索如淘宝拍立淘找相似款式的商品图片深度学习嵌入余弦相似度图像的深层特征如纹理、结构需通过CNN学习。
生物信息学基因匹配比较DNA序列相似性曼哈顿距离编辑距离基因序列的“字符差异数”直接反映相似性如A-T-C vs A-G-C差异1。
社交平台好友推荐匹配兴趣相似的用户余弦相似度兴趣的“比例”如运动:音乐7:3比“数量”更重要有人标记10个兴趣有人标记3个。
工具和资源推荐工具/库用途链接Scikit-learn传统算法欧氏、余弦https://scikit-learn.org/FAISS大规模数据快速相似搜索https://github.com/facebookresearch/faissSentence-BERT文本语义嵌入替代传统TF-IDFhttps://www.sbert.net/PyTorch/TensorFlow深度学习算法Siamese网络https://pytorch.org/Annoy近似最近邻搜索轻量级LSHhttps://github.com/spotify/annoy未来发展趋势与挑战趋势1多模态相似度匹配未来AI应用如智能助手需同时处理文本、图像、语音相似度算法需能计算“文本描述的猫”和“图片中的猫”的跨模态相似性。
目前主流方法是用多模态预训练模型如CLIP生成统一嵌入再计算余弦相似度。
趋势2动态相似度匹配用户兴趣、商品流行度会随时间变化如夏季关注“空调”冬季关注“取暖器”算法需支持“动态更新嵌入”和“时间敏感的相似度计算”如近期行为权重更高。
挑战1隐私保护下的相似度计算在医疗、金融场景中数据不能明文传输如患者隐私需用联邦学习Federated Learning或安全多方计算MPC在加密数据上计算相似度。
挑战2小样本场景的相似度学习冷启动问题如新用户、新商品中标注数据少需用元学习Meta-Learning让模型“快速学习新场景的相似规则”。
总结学到了什么核心概念回顾基于距离欧氏/曼哈顿距离适合“绝对差异重要”的场景如价格、数量。
基于方向余弦相似度适合“比例/趋势重要”的场景如兴趣偏好、文本语义。
快速匹配LSH适合“大数据量”场景如10亿级用户/商品。
深度学习Siamese网络适合“需要语义理解”的场景如跨语言匹配、多模态关联。
概念关系回顾选择算法时需考虑数据类型文本/图像→用嵌入余弦结构化数值→用欧氏/曼哈顿。
数据规模小数据→精确算法大数据→LSH/FAISS加速。
精度需求需语义理解→深度学习只需表面特征→传统算法。
计算效率实时系统→LSH离线分析→精确计算。
思考题动动小脑筋假设你要做一个“菜谱推荐”应用用户输入“番茄炒蛋”需要推荐相似菜谱。
你会选择哪种相似度算法为什么提示考虑“番茄炒蛋”和“番茄蛋汤”的语义关联如果你的应用需要处理1000万张图片的相似搜索如以图搜图传统的欧氏距离计算会很慢你会如何优化提示结合LSH和深度学习嵌入当两个文本的余弦相似度很高
95但欧氏距离也很大
1
0这可能说明什么提示向量的模长差异大但方向一致附录
常见问题与解答Q为什么余弦相似度在高维数据中更稳定A高维空间中向量的模长容易受“无关特征”影响如用户兴趣向量中的“游戏”维度可能被误标为0或1而余弦相似度只看方向兴趣比例不受模长干扰。
Q深度学习算法一定比传统算法好吗A不一定。
如果数据量小如1万条、特征明确如身高体重传统算法欧氏/余弦可能更准且更快深度学习需要大量数据才能学习到有用的语义特征。
QLSH会漏掉一些相似数据吗A会概率性但可以通过增加哈希函数数量更多桶降低漏检率。
实际中LSH是“精度-速度”的权衡适合“允许少量误差但需要快速响应”的场景。
扩展阅读 参考资料《计算广告互联网商业变现的市场与技术》——刘鹏推荐系统中的相似度应用《Deep Learning for Sentence Similarity》——Sebastian Ruder深度学习相似度模型FAISS官方文档https://faiss.ai/Sentence-BERT论文https://arxiv.org/abs/
1