目标检测算法——YOLOv5/YOLOv7改进之结合ECA注意力机制_yolov7中添加eca注意力机制

深度学习Tricks，第一时间送达

论文题目：《ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks》
论文地址：  https://arxiv.org/pdf/1910.03151.pdf 

ECA 注意力模块，它是一种通道注意力模块；常常被应用与视觉模型中。支持即插即用，即：它能对输入特征图进行通道特征加强，而且最终ECA模块输出，不改变输入特征图的大小。

为了平衡表现性和复杂性，这篇文章提出了一个有效的通道注意力模型（Efficient Channel Attention,ECA），它仅涉及少数几个参数，同时带来明显的性能提升。通过剖析SENet中的通道注意模块，我们从经验上表明避免降维对于学习通道注意很重要，并且适当的跨通道交互可以在保持性能的同时显着降低模型的复杂性。

因此，提出了一个没有降维的局部的跨通道交互策略，其可以通过1D卷积有效的实施。此外，开发了一种方法来自适应选择一维卷积的核大小，确定局部跨通道交互的覆盖范围。

背景：ECA-Net认为：SENet中采用的降维操作会对通道注意力的预测产生负面影响；同时获取所有通道的依赖关系是低效的，而且不必要的；
设计：ECA在SE模块的基础上，把SE中使用全连接层FC学习通道注意信息，改为1*1卷积学习通道注意信息；
作用：使用1*1卷积捕获不同通道之间的信息，避免在学习通道注意力信息时，通道维度减缩；降低参数量；（FC具有较大参数量；1*1卷积只有较小的参数量）
 

实验证明，将即插即用的ECA注意力模块嵌入到YOLOv5网络中，减少模型参数，同时带来明显的性能提升。

1.网络结构图

2.ECA模块代码

# class eca_layer(nn.Module):
#     """Constructs a ECA module.
#     Args:
#         channel: Number of channels of the input feature map
#         k_size: Adaptive selection of kernel size
#     """
#     def __init__(self, channel, k_size=3):
#         super(eca_layer, self).__init__()
#         self.avg_pool = nn.AdaptiveAvgPool2d(1)
#         self.conv = nn.Conv1d(1, 1, kernel_size=k_size, padding=(k_size - 1) // 2, bias=False)
#         self.sigmoid = nn.Sigmoid()
#
#     def forward(self, x):
#         # feature descriptor on the global spatial information
#         y = self.avg_pool(x)
#
#         # Two different branches of ECA module
#         y = self.conv(y.squeeze(-1).transpose(-1, -2)).transpose(-1, -2).unsqueeze(-1)
#
#         # Multi-scale information fusion
#         y = self.sigmoid(y)
#         x=x*y.expand_as(x)
#
#         return x * y.expand_as(x)

如何嵌入YOLOv5网络，各位小伙伴请参考CBAM那篇博文~

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/346262