【YOLOv8改进】Polarized Self-Attention: 极化自注意力 (论文笔记+引入代码)

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

摘要

像素级回归可能是细粒度计算机视觉任务中最常见的问题，例如估计关键点热图和分割掩模。这些回归问题非常具有挑战性，特别是因为它们需要在低计算开销下对高分辨率输入/输出建模长距离依赖关系，以估计高度非线性的像素级语义。

尽管深度卷积神经网络（DCNNs）中的注意机制已经流行起来，用于增强长距离依赖关系，但是元素特定的注意力，例如非局部块，学习起来非常复杂且对噪声敏感，而大多数简化的注意力混合体试图在多种任务类型之间达到最佳折衷。

在本文中，我们提出了极化自注意（PSA）块，它融合了两个关键设计，以实现高质量的像素级回归：（1）极化过滤：在保持通道和空间注意力计算中的高内部分辨率的同时，完全折叠输入张量沿其相对应维度。（2）增强：构成非线性，直接适应典型细粒度回归的输出分布，例如2D高斯分布（关键点热图）或2D二项分布（二进制分割掩模）。PSA似乎已经充分利用了其仅通道和仅空间分支的表示能力，因此其顺序和并行布局之间只有边际度量差异。实验结果表明，PSA将标准基线提高了2至4个点，并将2D姿势估计和语义分割基准上的最新技术提高了1至2个点。

创新点

• 极化滤波（Polarized filteringPolarized）：在通道和空间维度保持比较高的分辨率（在通道上保持C/2的维度，在空间上保持[H,W]的维度 ），进一步减少低分辨率、低通道数和上采样造成的信息损失。

• 增强（Enhancement）：采用细粒度回归输出分布的非线性函数。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

文章提出了极化自注意力（PSA）模块，采用一种类似于光学透镜过滤光线的极化滤波机制。在此机制中，每个自注意力单元的功能类似于光学中的极化滤波，旨在增强或减弱特定的特征信号。（在光学中，极化滤波器通过仅允许特定方向的光线通过，以提高照片对比度，同时由于滤波过程中总光强的部分损失，通常需要后续处理以恢复原始场景的详细信息。）

本模块旨在通过对输入特征进行细致的空间和通道维度上的处理，以增强模型对特征的表征能力。模块的结构和工作流程如下所示，展示了两种不同的排列方式：<