《TSM:Temporal Shift Module for Efficient Video Understanding》阅读笔记_tsm:temporalshiftmoduleforef铿乧ientvideounderstandi

这篇论文的核心思想是通过在2DCNN中位移temporal维度上的channels，来实现视频中时间维度上的信息交互。作者分析了一般的卷积操作，其主要分为两个部分，1是位移，2是对应位置的权值相乘再相加。其中位移不消耗计算资源，所以，作者想到能否可以在temporal维度上位移，达到不同帧的特征信息交融来增强模型对视频信息的理解。位移过程如下图所示:

上图中，不同颜色代表不同帧的特征，其大小为chw*。图b中，在T方向上，将第一列向下位移1位，第二列向上位移1位，空出的部分补0填充。

**这样的位移方法也有它的弊端。**其一，大步长的位移会导致原始特征中补充的0太多，导致丢失重要信息。2、给硬件造成了负担，增加了内存的占用。3、降低了空间维度的建模能力，由于原有的空间特征被破坏，所以可能会导致变差。

为了去研究其优势和劣势，作者测量了TSM模型和2Dbaseline在不同硬件设备上的推理延迟。使用ResNet-50主干和8帧输入测量模型，使用无移位(2D基线)、部分移位(1/8、1/4、1/2)和全移位(移动所有通道)进行比较（下面曲线图a）。1000 次运行后（之前有200次的热身），发现位移操作相比baseline的确有延迟影响。移动所有通道，延迟开销将占到CPU推理时间的13.7%，移动1/8，延迟开销限制在3%.