【深入浅出深度学习】1、深度学习的发展_深度学习的发展离不开什么

人工智能、机器学习、深度学习的关系

1、 人工智能——机器推理

利用计算机构建具有人类智力特征的复杂机器，即为通用人工智能或强人工智能，即让机器拥有人类的所有感觉、所有理智、像人类一样思考。要实现真正意义上的人工智能可能还有很长的路，但是在一些特定的领域，如图像识别、人脸识别、计算机视觉等方面已经实现了比人类更好的效果。这些被称为“狭义的人工智能”或“弱人工智能”。

2、 机器学习——数据驱动的科学

1. 机器学习也被称为统计机器学习，是人工智能领域的一个分支，基本思想是基于数据构建统计模型，并利用模型对数据进行分析和预测的一门学科。机器学习是一种让计算机利用数据而非指令来进行各种工作的方法。
2. 机器学习最基本的做法是利用算法来解析数据，从数据中学习到规律，并掌握这种规律，然后对真实世界中的时间做出决策或预测。机器学习的核心是使用大量的数据进行训练，通过各种算法从数据中学习如何完成任务。
3. 机器学习是基于训练数据构建统计模型，从而是的计算机具有对新数据进行预测和分析的能力，机器学习方法按其实现的目标不同，可以分为：监督学习、无监督学习和强化学习。

• 监督学习：
  使用带有标签的训练数据集进行训练，输入的训练数据由物体的特征向量（输入）和物体的标签（输出）两部分构成。若输出的标签是一个连续的值，称为回归监督学习；若输出的标签是一个离散的值，称为分类监督学习。
  涉及两个方面：
  ① 根据提供的训练数据，选择一种合适的模型进行训练，直至模型收敛。
  常见的监督学习模型：Logistic回归、SVM、KNN、决策树、朴素贝叶斯等。
  每个样本数据的输入是由物体的特征构成的特征向量，如颜色大小等，输出的是物体类别。
  ② 当模型训练完毕后，将新的输入数据带入模型，模型将根据新的特征信息，找出最符合这种特征的输出结果。

• 无监督学习：
  训练样本没有任何的标签和输出，其目的是对原始数据结构进行深入的分析，找出数据间存在的规律与关系。
  典型的无监督学习任务包括：聚类、降维、特征提取等。
  虽然监督学习准确率更高，但是现实中我们获得大量数据一般是没有标签数据的，因此无监督学习显得尤为重要。传统的方法不令人满意，但是深度学习被证明有强大的无监督学习能力，尤其在计算机视觉领域，深度学习达到的效果远远优于传统机器学习。

• 强化学习：
  也称增强学习。强调如何基于环境而行动，以取代最大化的预期利益。和有监督/无监督对比，不需要出现正确的输入输出对，也不需要精确校正次优化行为，更注重在线规划，在未知领域和现有知识之间找到平衡，其学习过程是一个从实际环境中不断学习积累，不断进化的过程。

3、深度学习——大脑的仿真

过去，深度学习是作为机器学习的一个算法而存在，被称为人工神经网络，由于受到算法理论、数据、硬件的制约，多年以来一直都是单层或浅层的网络结构。并且随着其他更有效率的浅层算法（SVM/Logistic回归）的提出，神经网络在效果和性能上都没有任何优势，逐渐淡出视野。后来，随着大数据的发展，以及大规模硬件加速设备的出现，特别是GPU的不断提升，使得神经网络重新受到重视。

深度学习的发展历程

1. 1957年，Rosenblatt提出感知器，但无法解决非线性数据的分类，后又学者提出剁成神经网络能够解决非线性问题，但却没有提出多层神经网络的有效训练方法。

2. 1986年Rumelhar和Hinton提出了BP算法，解决了两层乃至多层的神经网络训练问题，解决了非线性分类问题。
   BP算法的制约：
   ① 随着神经元节点的增多，训练时间容易变长；
   ② 神经网络的优化函数是一个非凸优化问题，容易造成局部最优解；
   ③ 理论上说网络层数越多，神经网络的学习能力越强，但是随着网络层数的增多，网络的学习能力并未随之提高，由于BP算法导致的梯度消失的问题。

3. 2006年Hinton首次提出“深度信念网络”，传统的训练方式采样随机初始化的方式来初始化权值参数，但该网络利用预训练（pre-training）的过程，可以方便神经网络中的权值找到一个接近最优解的初始值，再用“微调”技术（fine-tuning）技术对整个网络进行优化训练。这两个技术有效的减小了网络的训练时间，并缓解了BP算法导致的梯度消失的问题。给神经网络赋予了新名称——深度学习。

4. 深度学习真正受人瞩目是2012年的ImageNet比赛，Hinton的学生利用多层卷积神经网络成功的对包含一千类别的一百万张图片进行了训练，分类错误率只有15%，比第二名低了近11个百分点，此后深度学习呈爆发式的发展。
   深度学习的兴起离不开大数据和高性能的计算平台的推动，分别被称为 “引擎”和“燃料”。深度学习的成功需要依靠大量的训练数据来进行学习，大数据是深度学习的基础；另一方面，对大量数据的学习和训练，效率问题很难解决，就需要硬件设施的加速发展。

深度学习概述

1. 从低层到高层的特征抽象

• 深度学习借助人类视觉系统对外部信息的分级处理方式，通过组合底层特征形成更加抽象的高层特征。如计算机视觉领域，深度学习就是从原始图像的像素数据出发，通过不同的卷积核处理，如拉普拉斯滤波器等，去学习得到一个低层次的表达，之后在这些低层次表达的基础上，通过线性或非线性组合，来获得一个高层次的表达。

2. 让网络变得更深

• 深度学习是机器学习的一种分支学科，其目的是建立可以模拟人脑进行分析学习的模型，模仿人脑的机制来解释数据.深度学习之所以成为“深度”，是因为之前的机器学习方法都是浅层学习，深度学习可以理解为传统神经网络的发展。
• 二三十年前，神经网络曾是机器学习领域的热点方向。但是后来由于理论分析的难度，加上训练方法需要很多经验和技巧，以及巨大的计算量和优化求解难度，使其慢慢淡出了科研领域的主流方向。此后出现的Hinton的预训练和微调技术缓解了梯度消失问题，此后出现了各种优化技术。如单侧抑制的激活函数ReLu取代传统的sigmoid激活函数，使得梯度消失问题进一步缓解。最近，一种称为梯度残差的技术被应用到神经网络的训练中，使得网络层数达到了百层以上。

3. 自动特征提取

• 深度学习的第三个技术改革是其具有强大的自动提取特征的能力，浅层结构算法有很多局限性，在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题七泛化能力受到一定的制约。更重要的是浅层模型有一个特点，是需要依靠人工来抽取样本的特征，然而手工选取是很费力的一件事情，能不能选取好的特征很大程度上靠经验和运气。
• 深度学习使得自动学习特征成为可能。深度学习框架将特征提取和分类器结合到一个框架中，自动从海量大数据中去学习特征，在使用中减少了手工设计特征的巨大工作量。
• 相比前两次人工智能高潮中的神经网络模型，深度学习带来的变化不仅仅是层数上的简单堆叠，更重要的是端到端（end-to-end）的表示学习（representation learning）思想。
• 深度学习时代，输入数据直接变成了欲处理对象的最初形态，如初始图像的最初形态，如初始图像、初始语音等。