李沐《动手学深度学习》学习笔记（四）_语义分割李沐

九、语义分割

1.概述

什么是语义分割问题：找到同一画面中的不同类型目标区域

与其他问题有何区别？

实例分割：同一类型目标要分出来具体实例（谁是谁）

目标检测：标出来外包围矩形

2.语义分割基本思想

语义分割的目标就是对图中每一个像素进行分类，得到对应标签。基本思想就是滑动窗口，返回每个窗口处的标签。但是这样做的话，滑动次数太多，计算太慢，而且进行了大量的重复计算。

3.FCN网络

FCN网络（全卷积神经网络）中全是卷积层链接，与CNN网络的主要区别在于FCN将CNN中的全连接层换成了卷积操作。换成全卷积操作后，没有了全连接层的输入层神经元个数的限制，所以卷积层的输入可以是不同尺寸的图像，不用要求训练图像和测试图像size一致。

其结构分为两个部分：全卷积部分和反卷积部分。全卷积部分借用了一些经典的CNN网络，并把最后的全连接层换成卷积，用于提取特征，形成热点图；反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像。

4.FCN网络结构

卷积部分：

 FCN中第6、7、8层都是通过1 × 1卷积得到的，第6层的输出是4096 × 7 × 7， 第7层的输出是4096 × 7 × 7 ，第8层的输出是1000 × 7 × 7,即1000个大小是 7 × 7的特征图

反卷积部分：

蓝色：卷积层；绿色：Max Pooling层；黄色: 求和运算；灰色: 裁剪

 4.训练结果