线性模型+非线性=神经网络_线性合成非线性

感知机（Perceptron）

线性分类问题（Linear Classification）

说起单层感知机，首先要从线性二分类问题谈起。什么是线性二分类问题呢，首先数据在数据空间中应该是线性可分的，即可用一条直线（在几何空间中应为超平面）把不同类的数据分割开，而这条直线（超平面）就叫做决策边界（Decision Boundary)。其次数据空间中数据的类别数应为两种，而这两种类别通常被称为正例（positive）和反例（negative）。

决策边界的表达式：

判定决策结果：

为了计算的简便，我们通常在特征向量$x$前加入一个虚拟特征（dummy feature）$x_{0}$，并在权重向量$w$前加入一个$w_{0}$，这样我们就可以在决策边界的表达式中省去偏差（bias）这一项。此时我们的决策边界表达式变为：

感知机学习规则

在感知机中，我们通常把正例和反例表示为1和-1，因为这种表达形式更有利于推导感知机的学习规则，看完下面的内容你就会明白为什么。现在我们的决策结果表达式变为：

对于分类模型，我们如何判断模型分类的结果和真正的类别是否一致呢？需要用到下面的关系：$z^{(i)}t^{(i)}>0$。对于任一$z^{(i)}$和原数据标签$t^{(i)}$，若$z^{(i)}$判定结果与数据标签相同，则两者相乘恒大于零，否则两者恒小于零。利用这一关系，若