核心内容摘要
简单理解：闭环控制与其他控制方法的区别
论文介绍摘要视觉注意力网络（VAN）中的大核注意力（LKA）模块已被证明在一系列视觉任务中表现出卓越性能，甚至超越视觉变换器（ViTs）。
然而，LKA模块中的深度卷积层在卷积核尺寸增大时，计算量和内存占用呈二次方增长。
为缓解这一问题，并支持在VAN的注意力模块中使用极大卷积核，本文提出了一种大分离核注意力模块（LSKA）。
LSKA将深度卷积层的二维卷积核分解为级联的水平与垂直一维核。
相比标准LKA设计，该分解方法可直接在注意力模块中使用大核深度卷积层，无需额外模块。
实验表明，VAN中提出的LSKA模块在性能上与标准LKA模块相当，同时降低了计算复杂度和内存占用。
研究还发现，随着核尺寸增大，LSKA设计使VAN更倾向于关注物体形状而非纹理。
此外，本文首次在ImageNet的五种损坏版本数据集上系统评估了VAN中的LKA与LSKA、ViTs及近期ConvNeXt的鲁棒性。
大量实验结果表明，随着核尺寸增大，VAN中的LSKA模块显著降低了计算复杂度和内存占用，同时在物体识别、检测、语义分割及鲁棒性测试中优于ViTs和ConvNeXt，并与VAN中的LKA模块性能相当。
文章地址：论文地址