核心内容摘要
掌握本地密钥生成：Beyond Compare授权管理新方案
在计算机视觉领域基于骨架的人体动作识别一直备受关注。
相比传统视频流骨架数据不仅计算高效还对环境光照、背景干扰有着天然的免疫力。
然而骨架模型也有自己的“心病”由于缺乏物体信息和精细的体型特征它很难分清那些动作极其相似的行为比如“读书”和“写字”、“喝水”和“擦嘴”。
为了解决这一难题中国科学院、中国科学院大学、北京邮电大学以及月之暗面等机构的研究者们联合提出了一种名为 ACLNet 的新框架全称为 亲和对比学习网络。
该研究已被IEEE生物识别、行为与身份科学汇刊T-BIOM 2026录用相关代码已在GitHub开源。
论文地址https://arxiv.org/abs/
2
16694代码仓库https://github.com/firework8/ACLNet
传统对比学习的局限当前的骨架识别方法大多采用通用对比学习范式让同类样本靠拢异类样本远离。
这种看似完美的方案在实际应用中存在两个关键痛点忽视了类间的结构共性有些动作虽然类别不同但运动模式高度相似。
比如“读书”和“喝水”都有手部向头部靠拢的轨迹。
如果只是简单地把它们推开模型很难学到真正细微的判别特征。
类内异常样本的干扰由于拍摄角度、动作幅度差异同一类动作里可能存在“离群”的正样本。
这些样本容易与相似类别的负样本混淆导致模型在特征空间中产生错误的聚类。
ACLNet引入“亲和力”的新视角为了应对上述挑战ACLNet提出了两套核心策略类间亲和对比学习和类内边缘对比学习。
核心架构与流程ACLNet的整体流程清晰明了输入包含N帧、V个关节、每关节C维特征的原始骨架序列处理利用图卷积网络提取时空特征通过投影层映射到256维对比特征空间输出一方面通过分类头输出动作预测标签另一方面通过亲和对比学习损失函数优化特征分布创新点1寻找“动作家族”ACLNet的妙招在于引入亲和相似度概念不再只看两个类别是否直接混淆还会考察它们是否拥有共同的“朋友圈”。
具体计算分两步直接关联通过混淆矩阵统计易混淆类别间接关联如果类别A和B都经常被误判为类别C则A和B存在隐藏的结构共性通过这种方式模型将具有相似运动模式的类别聚合成一个个动作家族。
在训练时模型会针对家族内部成员进行更有针对性的对比优化。
配合这一概念作者还设计了族群感知温度调度当家族规模较小时使用较小温度值放大硬负样本差异家族规模较大时适当放宽条件保持聚类稳定性。
这种“因材施教”的策略让模型在不同粒度上都能保持敏锐。
创新点2强力分离硬样本针对类内异常样本ACLNet引入类内边缘对比损失。
它在正负样本之间强行加入边缘约束即使某个正样本长得很像负样本模型也会强制拉开它们之间的距离实现更稳健的特征分离。
性能表现刷榜多项主流数据集ACLNet在六大主流基准数据集上展现出稳健性能动作识别任务NTU RGBD 60X-Sub准确率
9
6%刷新SOTA记录NTU RGBD 120X-Sub准确率
9
7%同样达到SOTA水平Kinetics-SkeletonTop-1准确率
5
1%相比之前的SOTA方法DS-GCN有明显提升FineGYM细粒度动作识别准确率达
9
0%证明其在区分极细微动作差异方面的卓越能力生物特征识别任务CASIA-B步态识别平均准确率
8
5%行人重识别N-N设置下达到
8
8%
实验中的有趣发现“动作家族”可视化消融实验中展示了“动作家族”的直观案例。
比如“读书”和“穿夹克”这两个动作模型通过亲和力建模精准捕捉到了它们在手部和手臂轨迹上的结构共性。
超参数敏感性模型对边缘约束和损失权重的选择非常讲究。
实验表明当边缘约束设为
3且权重为
1时模型能达到最优平衡。
这说明适度的约束比过度惩罚更能引导模型学习到泛化性强的特征。
对噪声数据的鲁棒性ACLNet对噪声数据表现出极强的鲁棒性。
在模拟遮挡的极端情况下如缺少双臂或双腿ACLNet的识别准确率依然大幅领先传统模型。
例如在缺少“双手”的情况下ACLNet仍能保持
7
6%的准确率而经典模型MS-G3D仅剩
1
1%。
攻克相似动作“深水区”类间改进差异分析显示ACLNet提升最明显的正是传统模型最头疼的“重灾区”如“打喷嚏/咳嗽”、“读书”和“打字”。
这些动作在骨架空间中极其接近但ACLNet通过亲和力约束在特征空间中开辟了专属领地。
t-SNE可视化显示随着训练进行原本混杂的相似动作在特征空间中逐渐分离聚类变得更加紧凑清晰。
结论本文提出ACLNet——一种基于骨架的人类活动理解亲和对比学习网络。
具体而言我们的方法通过两大创新突破了现有技术的局限首先引入亲和相似性概念用于建模难分类别的语义关系并通过跨类亲和学习实现针对性优化 其次我们提出边缘对比策略通过显式控制困难正样本与负样本的分离度增强了模型对类内变异的鲁棒性。
在六个基准数据集上的广泛实验验证了ACLNet在骨架动作识别、步态识别及人脸再识别任务中的有效性。
所提出的亲和建模范式为精细化活动分析与行为生物特征识别开辟了新路径在安全防护、医疗健康及人机交互领域具有广阔应用前景。
技术实现与开源该项目已在GitHub开源使用单张RTX 3090即可复现实验。
代码结构清晰模块化设计便于扩展和修改为从事行为识别、步态分析或生物特征识别的研究者提供了一个扎实的基准模型。
ACLNet的突破在于告诉我们对比学习不应只是简单地“拉近”和“推开”。
通过引入“亲和力”这一维度模型能够像人类一样理解动作之间的逻辑关联从而在细微处见真章。
这一创新不仅提升了骨架动作识别的准确性更为对比学习在复杂场景下的应用提供了新思路。
随着相关代码的开源我们期待看到更多研究者在此基础上开发出更加强大和智能的动作理解系统。