当前位置:   article > 正文

加入动态MLP,并且结合了时空信息的多模态细粒度分类_dynamic mlp for fine-grained image classification

dynamic mlp for fine-grained image classification by leveraging geographical

Dynamic MLP for Fine-Grained Image Classification by Leveraging Geographical and Temporal Information

CVPR2022的一篇文章。这篇主要是做细粒度分类,最大的创新点是引入了动态MLP。

在 iNaturalist challenge at FGVC8 获得了第三名。

代码:https://github.com/ylingfeng/DynamicMLP

一、作者先总结了细粒度方法目前的几个方向

1.专注于图像的判别区域。

2.多分支学习。

3.特定的数据增强

4.引入额外的信息。比如图片拍摄的地理和时间信息。

二、现有工作与作者提出的动态MLP的比较

绿色和蓝色的矩形分别表示图像特征和多模态的特点。
(a) 仅有图像。仅基于图像获得预测[12, 18, 26]。
(b) 通道串联。把图像特征与多模态特征在通道上连接起来[29, 35, 37, 38]。
(c) 加法。把图像的最后一层的预测值和其他信息的最后一层的预测值相加[8]。
(d) 乘法。将两个预测值相乘[28, 38]。
(e) 动态 MLP:特征通过动态MLP进行融合。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/213441
推荐阅读
相关标签
  

闽ICP备14008679号