YOLOv9改进添加可变形注意力机制DAttention

作者：花生_TL007 | 2024-03-16 06:27:39

踩

一、Deformable Attention Transformer论文

论文地址：arxiv.org/pdf/2201.00520.pdf

二、Deformable Attention Transformer注意力结构

Deformable Attention Transformer包含可变形注意力机制，允许模型根据输入的内容动态调整注意力权重。在传统的Transformer中，注意力是通过对查询和键向量之间的点积来确定的，然后将输入嵌入的加权和进行计算。然而，这种方法假设了一个刚性的注意力模式，其中每个查询都会参与固定的一组键。

在可变形注意力转换器中，注意力权重使用学习机制进行计算，该机制可以根据输入学习调整注意力模式。这使得模型能够捕捉输入的不同部分之间更复杂的关系，从而在需要建模长距离依赖或捕捉细粒度细节的任务上提供更好的性能。可变形注意力机制DAttention引入了额外的可学习参数，

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/247684?site

YOLOv9改进 添加可变形注意力机制DAttention

一、Deformable Attention Transformer论文

二、Deformable Attention Transformer注意力结构

YOLOv9改进添加可变形注意力机制DAttention