Paper Reading: ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices（arXiv:1707.01083v2）

Motivation

专为计算能力非常有限（例如10-150 MFLOP）的移动设备设计的模型，且弥补了之前Group convolution的缺点

Architecture

• Channel Shuffle for Group Convolutions

  假设卷积层具有g组，其输出具有g×n个通道； 首先将输出通道的尺寸调整为（g，n），进行转置，然后再变平，作为下一层的输入。这样做的好处是解决了Group convolution阻止通道组之间的信息流传递的问题

• ShuffleNet Unit
  上下两个红色部分的11卷积替换为11的分组卷积，分组g一般不会很大，论文中的几个值分别是1，2，3，4，8。当g=1时，ShuffleNet v1退化为Xception。 g的值确保能够被通道数整除，保证reshape操作的有效执行。
  在第一个 11卷积之后添加一个Channel Shuffle操作。
  如图3.©中需要降采样的情况，左侧shortcut部分使用的是步长为2的 33平均池化，右侧使用的是步长为2的 33的Depthwise卷积。
  去掉了33卷积之后的ReLU激活，目的是为了减少ReLU激活造成的信息损耗，

Experiments

• Ablation Study

  证明了shuffle模块的有效性
  

• classification