智慧的疆界读书笔记_智慧的疆界:从图灵机到人工智能 读书笔记

智慧的疆界（读书笔记）

图灵对智能的思考

1945年，控制论，信息论，系统论——信息学三论提出，信息学开始发展。

图灵机：能够描述任何人类能够完成的逻辑推理和计算过程。

对图灵机智能的定义：图灵：可由物理公式推导的，由数学方法描述的。香农：情感、艺术、音乐的能力也要。

图灵对智能的判定：人无法判断与之对话的是人还是机器，就是智能。

验证码Captchac的来源：图灵测试。

对智能行为的定义：全部智能行为和全部人类行为的交集。

对思考的定义：机器通过学习获得某项技能，并能够将这项技能表现出来的能力

数理上的探索：对哥德尔不完备定理的反驳。

对意识：认为机器不一定要能够像人一样思考，而是一种表现型，即是否能通过图灵测试。

达特茅斯会议

麦卡锡去了斯坦福，明斯基去了MIT开创MAC项目，纽厄尔和司马贺在卡内基梅隆大学，三足鼎立。达特茅斯本身没有什么贡献，但是确定了人工智能这个专业的名字。

司马贺：开挂的科学家，详见P49页，

香农：杂耍学博士。功成名就后退隐。

我常常随着自己的兴趣做事，不太看重它们最后产生的价值，更不在乎这事儿对于世界的价值。我花了很多时间在纯粹没什么用的东西上。 ——香农

人工智能早期成果

1. 完全信息的对抗：双方掌握所有推到策略所需的信息。棋类游戏。可以简单下棋，有指数级复杂度的下棋程序，评估各种棋类用计算机计算的复杂度。

2. 模式识别

3. 自然语言处理

   一但一件事人工智能可以去做，那么大家就不觉得他是智能了

   As soon as it works, no one calls it AI anymore. ——McCarthy

符号主义学派

Symbols lie at the root of intelligent action, whitch is, of course, the primary topic of artificial intelligence. ——Allen Newell&Herbert Simon

提倡直接从功能的角度来理解智能，简而言之就是把智能视为一个黑盒，只关心这个黑盒的输入输出，而不关心黑盒的内部结构。利用符号抽象表示世界，利用逻辑推理和搜索替代人的思考，认知过程，而不去关注现实中大脑的神经网络结构。

”机器拟人心“

亚里士多德《工具论》提出了命题概念 ：命题逻辑、词项逻辑。

谓词逻辑的出现使数学方法可以处理逻辑问题。

核心思想：认知即计算

我们看到的世界，是否可以用符号来定义？人类理解世界的过程，是否可以在这个基础上精确描述和计算？ ——Leibniz

目的：描述已知，推理未知。假设现有的知识都可以通过形式语言描述，并且可以全部灌输给计算机。通过计算机的运算能力，实现在这些知识基础上的演绎推理，得出新的未知的知识，做出正确的决策，展现智能行为。

初始假说:推理期

常识编程：通过给机器一些少量常识性的知识，从而推断出更加丰富的知识。麦卡锡发明了lisp语言。

物理符号系统：对符号进行操作，辨认相同的符号以及区分不同的符号。（智能行为的抽象模型）

启发式搜索：类似于人的思索。得到的结果不一定是最优的，最精确的，成本是可以负担的，结果一般是非常有效的。就像人一样，不用经过大量的搜索也能解决问题。具体执行过程为：将物理符号随机组合成表达式，这个表达是的每一种变换形式构成了搜索树的分支，然后给定一个函数用于评价这个表达式不同变换形式与目标形式的差距，选择一个差距最小的变换形式重复搜索过程，知道差距无法缩小为止。难点是如何设计评估函数。人工智能方面没有解决，但是对于解决NP完全问题，是一个非常有效的手段。遗传算法画蒙娜丽莎也是。

知识期：

知识表示：从谓词逻辑到语义网络（将不同的实体与规则视为一个整体进行处理）

知识工程：1977年提出，让计算机对原本需要专家知识才能解决的应用问题提供求解手段。目标：建立供计算机使用的知识库。

知识系统：包括了专家系统，直接由业务领域的专家来构建完整的软件系统。

学习期：从演绎到归纳，之前的机器学习更多是类似当下的数据库查询的操作。七十年代后，希望从大量样本中自动提炼出隐藏在数据背后的知识。类似于人类的归纳能力。

决策树：白盒模型，有很好的解释性。

问题

1. 人类的智能太过于复杂，很多问题无法被形式化，也不清楚背后的运作机制。
2. 主要理论被证明是NP问题，无法逃脱指数级别时间的增长。除非靠生物计算机，量子计算机的发展才行。

连接主义学派

”机器拟人脑“

大脑模型创建：麦卡洛克和皮茨，得出人脑是图灵完备的。

蛙眼实验：眼睛也承担了一部分的运算功能，说明皮茨的理论是错误的。

**感知机：**光学识别数字

罗森布拉特发明感知机Mark-1，拿到大量经费，还显摆被喷死了。

明斯基对感知机的前途宣判死刑，《感知：计算机几何学导论》

**寒冬表现：**学术界奋力发论文，学术明星万众追捧，擦边专业的学生搞起人工智能，市场给这种人才开出咋舌的高新，企业和学者做出一个又一个承诺，媒体连篇报道人工智能的进展。

行为主义学派

维纳发表《控制论》，控制论并不是国内说的偏向工科的控制论，更多的是偏向机械大脑这样的一个概念的。

**机械因果论：**世界是根据牛顿运动定律刻画的，未来世界严格取决于过去世界状态。

**维纳的观点: **控制论是一种统计理论，关心的不是系统单独一次输入后产生的动作，而是对全部输入整体上能够做出呵护预期的动作。

自复制机：冯诺依曼提出自复制机的概念，能够构建组成元素和结构与自己一致的后代，对自身描述传递给后代系统。

**机器人学：**维纳的机器人小车，工业机器人诞生。

机器学习导论

Improving performance with experience at some task=Machine Learning

定义：系统性能度量（performance）、任务（task）、经验（experience）

机器的学习，并不是人类意义上的学到了知识和规律为目的的学习，而是根据已知数据形成的对未知数据的模拟。备受关注的原因是它代表了一种人类全新使用计算机的方式，很可能实未来我们应对越来越复杂问题，面对已经超过人类智力能够处理的问题时，人与计算机合作，交互的主要形式。

机器学习分支：基于规则、基于数据统计、基于深度神经网络。

人类的知识分类：

**任务类型分类：**回归和分类。

数据预处理：

数据清洗：样本本身有误差、缺失、错误。对数据进行规范化，将其转为无量纲的纯数值。

特征选择: 挑选对结果有关键性影响的特征关键值输入。高维空间中，数据就稀疏，从大多数角度就看不出相似性——维度灾难。而且，增加特征带来算法时间复杂度的增加也是指数级别的。

损失函数：实际值与理论值的偏差，统计机器学习中的主要模型和算法，本质都是基于不同的损失函数建立起来的。

模型复杂度：多项式系数数量，多项式系数数值大小。

正则化项or惩罚函数：在原来损失函数后面再加一个函数，避免目标函数变得过于复杂从而导致模型过拟合。

**范数：**L0,L1,L2作为算子。

L0：计算不为零的参数的个数。最能直观反映向量的稀疏性，但是最小化是NP完全问题。

L1：替代L0完成特征选择。将模型中对结果影响小的参数权值设置为0，这样就去掉这些没有提供信息的特征。而且使得模型更具有解释性。

L2：没有稀疏性，它的回归算法叫岭回归，or权值衰减。

（这一块由于本人的数学水平真的不太够，有点云里雾里）

**梯度下降：**详见高数（下）

最优的算法：没有免费午餐定理，高效与普适矛盾。

探究解决问题的具体步骤反而是其次的，深刻理解问题本身，因地制宜的解决问题的策略更为重要。

性能度量：

• 分类问题相关指标

1. 正确率

2. 精确率

3. 召回率

4. F1度量分度。

• 回归问题相关

  1. 平均绝对误差
  2. 均方方差
  3. 标准差
  4. F2度量分数
  5. 可解释方差分数

本章内容需要在有一定数学基础的前提上进行阅读。

神经网络

70年代的人工智能寒冬，大量学者离开该领域。

深度学习教父：多伦多大学计算机科学系的杰弗里。（逆反之心）

事迹：读了一个月大学退学，因为没有女孩。各种转专业，当木匠，跟老师吵架。没有经费，没有学生，默默耕耘。

**神经网络的困境：**单层感知机的能力不足（明斯基在《感知机》中证明）。多层网络没办法训练（无法估计中间的隐层的一些模型优劣），计算量随着隐层的增加而急剧增加。还有学术界的冷淡氛围，以至于“误差反向传播”没有被人关注。

神经元：数据流动过程，所有数据先加权求和，然后与在网络输入阈值函数中进行比较判断，大于阈值则激活输出，否则就置零忽略输入信号。

**误差反向传播算法：**微积分的链式法则，避免重复计算

**深度学习：**逐层自动进行特征提取。2006元年。

浅层的深度学习可以从像素层面去分辨细微的差距，但是分辨不了相似的图片———选择性恒常性困境

卷积神经网络是抽象升级，抽象出层析越来越高的特质。

2012年ImageNet图像识别大赛，辛顿带领学生用深层神经网络赢得比赛，大幅领先对手。

几种网络：

卷积神经网络（CNN）：卷积，一种特征提取操作，类似人脑对物体的分成抽象的操作。池化：用一个采样值替代采样区域的像素，降低数据量。

循环神经网络（DNN）：输出结果基于以前的输出进行计算。对隐层增加了反馈环。

生成对抗式网络（GAN）:

限制：

1. 计算资源消耗大。

2. 理论基础没有突破。

3. 不可解释性。

4. 缺乏灵活性。

人机共生

2016年，人工智能的水平不如6岁儿童，没有必要比赛强人工智能标准，应该比较专项上机器的进步。

可发展领域

• 识别和理解
  1. Imagenet挑战赛
  2. 语音识别
  3. 机器自动生成图像
  4. 阅读理解
  5. 专家系统
• 竞技游戏
  1. 棋类，搜索资源大，但是规则固定，可以建模
  2. 牌类，心里博弈，但是仍然是概率论的计算
  3. 星际争霸，决策太过于复杂，每一步的影响对下一步的影响太大，但是如果可行，决策就会被替代。
• 决策与信息处理
  1. IBM律师顾问
  2. 量化交易
  3. 医疗行业，病症识别。
• 自动驾驶
• 艺术与创作
  1. 海报设计
  2. 译稿机器人
  3. 作品临摹

威胁：小孩子有直觉、类推、创意、同理心、社交技能，机器确通不过图灵测试。

1. 社会分工竞争
2. 信息茧房