《自然语言处理学习之路》14卷积神经网络_卷积神经网络训练到什么时候最好

书山有路勤为径，学海无涯苦作舟

一、卷积神经网络应用

传统神经网络的搭建步骤

• 抽样一批数据
• 将数据输入网络进行前向传播，获得损失值
• 根据损失值函数，反向传播计算梯度
• 用梯度下降法修正参数
  
  卷积神经网络的应用
• 分类
• 图片检索推荐
  
• 图像物体检测，并且预测(Detection)
• Segmentation 分割元素

• 自动驾驶
  
• 人脸特征获取，进行人脸识别
  
• 关键点定位
  
• 字体，标志识别
  
• 图像识别，并且文字描述
  
• 图像融合
  

二、卷积神经网络

2.1 卷积过程

卷积神经网络与传统网络的区别

卷积神经网络的架构

输入的图片经过卷积之后就会得到一个特征图，特征图上的每个值是每个区域概括性的代表。

输入图片的深度是3，那么卷积核的深度也必须是3。

不同的卷积核filter，可以的得到不同的特征图。指定两个filter可以得到两个特征图，这两个特征图并不相同。

将不同的filter得到的特征图堆叠到一起，就得到卷积的结果。

也可以在得到的特征图上再次进行卷积

多层卷积的结果
多层卷积可以对图像进行多层次的浓缩，所以结果也就更加精确。

卷积的计算

卷积神经网络中通过不断的迭代，找到最好的卷积核的参数

w0第一层计算结果为0，w0第二层计算结果为2，w0第三层结算结果为0，初始b的值设置为1，所以卷积结果之和再加上b，最终w0卷积核卷积后的结果为3.

窗口滑动，步长为2

2.2 Padding与Stride

Stride就是滑动的步长，Stride越小，可以利用的特征就越多。但是Steide为1的时候，因为得到的特征太多，效率就会低。

在卷积的时候，有些像素点会被多次利用，但是有些像素点可以能就只能被利用一次。所以不同像素点贡献的信息不同，所以我们需要让那些贡献少的像素点多贡献。

一般四周的信息利用的少，中间的信息利用的多，一般就要用Padding来解决。

开始的图像是5×5×3的图像，见过pad1的变换，在边缘加了一个0，就转为7×7×3。

计算输出特征图大小的公式：
设输入的图像的的宽高为Wi，Hi，输出特征图的宽高为Wo，Ho。Wo和Ho的计算是相同的。一般要做卷积的图片是正方形，卷积核也是正方形。

Ho = 【(Hi+ (2 x Padding) - filter_size ) / Stride】 + 1 （深度等于Filter的个数）

2.3 权重共享

参数共享
传统的神经网络，前一层和后一层之间是全部相互连接的操作。 每一个神经元都有一些列的参数。各个神经元之间的参数是不一样的。

每个神经元与一个Fileter的结果相对应。一个神经元就有对应的Filter个数的参数，这样就会导致参数过多的问题。

卷积神经网络就会有一个权重的共享，每个特征图上所有的点都进行权重共享，权重就都一样

2.4 池化层原理

Pooling就是特征的浓缩，有取最大值MAX、MEAN方式。


每次卷积后都需要加上一个激活函数，卷积结束后加上全连接层。