CVPR2020-Attention Scaling for Crowd Counting：用注意力尺度来进行人群计数_scale-adaptive attention network for crowd countin

Attention Scaling for Crowd Counting

论文地址：
https://openaccess.thecvf.com/content_CVPR_2020/papers/Jiang_Attention_Scaling_for_Crowd_Counting_CVPR_2020_paper.pdf

Abstract（摘要）

基于卷积神经网络（CNN）的方法一般将人群计数作为一个回归任务，输出人群密度。他们学习图像内容和人群密度之间的映射分配。不过这些数据驱动的计数网络在取得了令人满意的结果之后，往往高估或低估了不同密度模式区域的人口计数，从而降低了整个计数精度。为了克服这一问题，我们提出了一种缓解不同地区计数性能差异的方法。具体地说，我们的方法由两个网络组成，即密度注意网络（DANet）和注意尺度网络（ASNet）。DANet为ASNet提供了与不同密度区域相关的注意力掩膜。ASNet首先生成密度图和尺度因子，然后将它们与注意力掩膜相乘，输出单独的基于注意力的密度图。将这些密度图相加，得到最终的密度图。注意尺度因子有助于减小不同区域的估计误差。此外，我们还提出了一种新的自适应金字塔损失（APLoss）算法来分层计算子区域的估计损失，从而减少了训练偏差。在四个具有挑战性的数据集（上海科技大学A部分、UCF CC 50、UCF-QNRF和WorldExpo’10）上的大量实验表明了该方法的优越性。

1.Introduction

基于计算机视觉的人群计数任务是推断图像或视频中出现的人数。由于其在视频监控、公共安全、交通控制、农业监控和细胞计数等领域的广泛应用价值，近年来受到了研究者的广泛关注。

这个问题的解决方案已经从检测个体逐步发展到呈现人群密度分布。密度图的积分给出了总计数。虽然以前的方法已经取得了一些成功，但它们无法处理高度拥挤的人群场景。这些场景通常具有遮挡严重、尺度变化大、视角变化大等特点。受卷积神经网络在目标检测、图像分割、目标跟踪等计算机视觉任务中取得巨大成功的启发，最近出现了几十种基于CNN的人群计数方法，这些方法试图利用多尺度特征融合、多任务学习和对目标的注意力机制解决以上问题。即便如此，在计数性能方面仍有很大的改进空间，特别是在一些具有挑战性的人群数据集上。

图像中或场景中的人通常表现出不同的分布，有些区域人满患，有些区域人烟稀少。导致这一现象的主要因素有两个。一方面，人们自发地分散或聚集在场景的不同区域。另一方面，由于摄像机视角的变化，人的尺度也会发生变化。因此，密度图中的人口分布呈现出不同的模式。由于CNN在训练过程中对数据集的依赖性很大，学习数据驱动的计数网络容易受到不同人群分布的影响。因此，它们在人口分布不同的地区表现不一致。据观察，高密度地区的预测可能高于地面实况，而低密度地区的预测可能低于地面实况，如图1和图2所示。

本文提出了一种处理各种密度分布的拥挤场景的方法。为此，我们构造了一个注意力尺度卷积神经网络ASNet。ASNet首先生成尺度因子以调整相应的中间密度图。然后ASNet输出几个基于注意力的密度映射，每个图只聚焦于某一特定密度级别的区域。最后，ASNet将这些基于注意力的密度映射归纳为最终的密度图。为了给ASNet提供注意力掩码，提出了一种基于DANet的密度注意网络，该网络完成了像素级密度分割的任务。
此外，我们还提出了一种新的损失函数，即自适应金字塔损失（APLoss）。APLoss首先根据局部人的计数，将密度图自适应地划分为非均匀金字塔子区域，然后计算出每个局部归一化损失。最后，APLoss将所有局部损失累加起来，得出最终的估计损失。APLoss减少了训练偏差，提高了计数网络的泛化能力。本文的贡献总结如下：
（1） 我们提出了一种注意力尺度卷积神经网络ASNet学习尺度因子，自动调整每个子区域的密度估计，减小局部估计误差。
（2） 我们提出一个密度注意网络DANet，为ASNet提供不同密度区域的注意力掩码。
（3） 提出了一种新的自适应金字塔丢失算法APLoss，该算法能有效地减少训练偏差，增强计数网络的泛化能力。
（4） 与其他16个最新报道的结果相比，我们提出的方法在4个具有挑战性的人群数据集上显示了它的优越性。

论文的其余部分组织如下。首先，我在第2节中回顾以前的人群计数方法。然后，我们在第3节中介绍所提出的方法。然后，我们在第四节中演示了实验结果和分析。最后，我们在第五部分对本文进行了总结。

2.Ralated work（相关工作）

近年来，人群计数从传统方法逐步发展到基于CNN的方法。在这一部分中，我们主要回顾了三种常见的基于CNN的计数策略。

2.1 Multi-scale Information Fusion Approaches（多尺度信息融合方法）

这种方法旨在利用多尺度特征或多上下文信息来处理计数尺度变化问题。多列卷积神经网络（MCNN）由Zhang等人提出，利用多尺度滤波器来提取具有不同尺度感受野的特征。类似地，Sam等人提出了Switch-CNN，它利用一个开关分类器从密度发生器池中选择最佳的一个。Sindagi等人提出了上下文金字塔CNN（CP-CNN），通过结合全局和局部上下文先验来捕获多尺度信息。此外，Sindagi和