（五十）论文阅读 | 轻量级网络之ShuffleNetV2_shufflenetv2原文

---

简介

图1：论文原文

论文在 ShuffleNetV1 的基础上探讨了多种轻量化网络的准则，并提出 ShuffleNetV2。实验证明 ShuffleNetV2 在准确率和实时性上均取得了更佳结果。

论文地址

---

0. Abstract

当前，设计网络结构的间接考虑因素是计算复杂度，如 FLOPs（Floating Point Operations）。但是，模型最终的速度等也取决于如内存访问和平台特性等。基于系列实验，论文提出设计网络的准则，并得到 ShuffleNetV2。实验证明，ShuffleNetV2 在平衡速度和精度方面达到 SOTA。

---

1. Introduction

通常使用浮点运算次数$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$衡量模型计算复杂度，但该项指标并不等同于模型速度。如$\mathrm{M}\mathrm{o}\mathrm{b}\mathrm{i}\mathrm{l}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}\mathrm{V}2$明显快于$\mathrm{N}\mathrm{A}\mathrm{S}\mathrm{N}\mathrm{E}\mathrm{T}$-$\mathrm{A}$，尽管二者的$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$相当。即，不能仅将$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$作为设计轻量级模型的基本准则。

$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$和速度的差异主要在于：许多重要的影响速度的因素如内存访问代价$\mathrm{M}\mathrm{A}\mathrm{C}$和并行程度等并没有考虑在$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$中，具有相同$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$的操作在不同平台下可能具有不同的运行时间。

基于以上两点，作者提出了设计网络结构的新准则。

---

2. Pratical Guidelines for Efficient Network Design

论文的对比实验主要基于英伟达$\mathrm{G}\mathrm{P}\mathrm{U}$和$\mathrm{A}\mathrm{R}\mathrm{M}$。

Equal channel width minimizes memory access cost (MAC) 当前轻量级模型多采用深度可分离卷积，其中逐点卷积占据了总计算量的绝大部分。逐点卷积的计算量为$B=hw{c}_1{c}_2$，其中$h\times w$为特征图大小，$c_1$和$c_2$分别为输入特征图和输出特征图的通道数。考虑可访问内存足够大，则$\mathrm{M}\mathrm{A}\mathrm{C}$为$hw(c_1+c_2)+c_1{c}_2$，可写作：$$\mathrm{M}\mathrm{A}\mathrm{C}=hw(c_1+c_2)+\frac{B}{hw}\text{\hspace{1em}(1)}$$

对$c_1+c_2$使用均值不等式：$$\mathrm{M}\mathrm{A}\mathrm{C}\ge 2\sqrt{hwB}+\frac{B}{hw}\text{\hspace{1em}(2)}$$

当且仅当$c_1=c_2$时$\mathrm{M}\mathrm{A}\mathrm{C}$取最小。即，输入特征图和输出特征图通道数越接近于$1:1$，$\mathrm{M}\mathrm{A}\mathrm{C}$越小。

图2：实验对比1

Excessive group convolution increases MAC 分组卷积通过将输入特征图的通道稀疏化来减少模型计算复杂度。由上一部分，分组卷积的$\mathrm{M}\mathrm{A}\mathrm{C}$可表示为： M A C = h w ( c 1 + c 2 ) + c 1 c 2 g = h w c 1 + B g c 1 + B h w (3)

$$\begin{aligned} {\rm MAC}&=hw(c_1+c_2)+\frac{c_1c_2}{g} \\ &=hwc_1+\frac{Bg}{c_1}+\frac{B}{hw} \end{aligned}$$ \tag{3} MAC​=hw(c1​+c2​)+gc1​c2​​=hwc1​+c1​Bg​+hwB​​(3)

由上式可以得到，在固定输入特征图形状$h\times w\times c_1$和$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$的前提下，$\mathrm{M}\mathrm{A}\mathrm{C}$随着分组数$g$的增大而增大。

图3：实验对比2

Network fragmentation reduces degree of parallelism 在许多网络结构中，多路并行结构的使用很常见。为了量化该结构如何影响模型性能，作者做了以下对比实验：

图4：实验对比3

Element-wise operations are non-negligible

图5：实验对比3

Conclusion and Discussions 设计网络结构准则：（1）输入特征图和输出特征图的通道数相当；（2）考虑分组卷积的影响；（3）减少分路数；（4）减少逐点卷积。

---

3. ShuffleNetV2: an Efficient Architecture

Review of ShuffleNetV1

图6：ShuffleNetV1

Channel Split and ShuffleNetV2 在$\mathrm{S}\mathrm{h}\mathrm{u}\mathrm{f}\mathrm{f}\mathrm{l}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}\mathrm{V}1$的基础上使用通道分离：

图7：ShuffleNetV2

具体地，对于输入通道数为$c$的特征图，首先将其分为通道数分别为$c-c^{\prime }$和$c^{\prime }$两个分支。其中一个分支使用恒等连接，另一个分支使用输入通道数与输出通道数相同的级联卷积操作。$\mathrm{S}\mathrm{h}\mathrm{u}\mathrm{f}\mathrm{f}\mathrm{u}\mathrm{l}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}\mathrm{V}2$结构：

图8：ShuffleNetV2结构

---

4. Experiment

图9：Experiments

---

5. Conclusion

论文提出将$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}$和速度等共同作为设计网络结构的准则，进而提出$\mathrm{S}\mathrm{h}\mathrm{u}\mathrm{f}\mathrm{f}\mathrm{l}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}\mathrm{V}2$。

---

参考

1. Ma N, Zhang X, Zheng H T, et al. Shufflenet v2: Practical guidelines for efficient cnn architecture design[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 116-131.

---