
一、引言在深度学习的发展历程中,注意力机制的引入极大地提升了神经网络的特征表达能力。从最初的通道注意力、空间注意力,到后来的自注意力(Self-Attention),注意力机制的形式不断演进,但其核心目标始终一致——让网络学会"看哪里"和"看什么"。自注意力机制(如Transformer中的Scaled Dot-Product Attention)通过建模所有位置之间的成对关系,能够捕获长距离依赖,在自然语言处理和计算机视觉领域都取得了巨大成功。然而,自注意力的计算复杂度与空间位置数的平方成正比,即O(N2)O(N^2)O(N