模式识别：感知器的实现

在之前的模式识别研究中，判别函数J(.)的参数是已知的，即假设概率密度函数的参数形式已知。本节不考虑概率密度函数的确切形式，使用非参数化的方法来求解判别函数。由于线性判别函数具有许多优良的特性，因此这里我们只考虑以下形式的判别函数：它们或者是x的各个分量的线性函数，或者是关于以x为自变量的某些函数的线性函数。在设计感知器之前，需要明确以下几个基本概念：

一、判别函数：是指由x的各个分量的线性组合而成的函数：

若样本有c类，则存在c个判别函数，对具有形式的判别函数的一个两类线性分类器来说，要求实现以下判定规则：

方程g(x)=0定义了一个判定面，它把两个类的点分开来，这个平面被称为超平面，如下图所示。

二、广义线性判别函数

线性判别函数g(x)又可写成以下形式：

其中系数wi是权向量w的分量。通过加入另外的项（w的各对分量之间的乘积），得到二次判别函数：

因为，不失一般性，可以假设。这样，二次判别函数拥有更多的系数来产生复杂的分隔面。此时g(x)=0定义的分隔面是一个二阶曲面。

若继续加入更高次的项，就可以得到多项式判别函数，这可看作对某一判别函数g(x)做级数展开，然后取其截尾逼近，此时广义线性判别函数可写成：

或：

这里y通常被成为“增广特征向量”(augmented feature vector)，类似的，a被称为“增广权向量”，分别可写成：

这个从d维x空间到d+1维y空间的映射虽然在数学上几乎没有变化，但十分有用。虽然增加了一个常量，但在x空间上的所有样本间距离在变换后保持不变，得到的y向量都在d维的自空间中，也就是x空间本身。通过这种映射，可以将寻找权向量w和权阈值w0的问题简化为寻找一个简单的权向量a。

三、样本线性可分

即在特征空间中可以用一个或多个线性分界面正确无误地分开若干类样本；对于两类样本点w1和w2，其样本点集合表示为： ，使用一个判别函数来划分w1和w2，需要用这些样本集合来确定判别函数的权向量a，可采用增广样本向量y，即存在合适的增广权向量a，使得：

则称样本是线性可分的。如下图中第一个图就是线性可分，而第二个图则不可分。所有满足条件的权向量称为解向量。

通常对解区限制：引入余量b，要求解向量满足：

余量b的加入在一定程度上可防止优化算法收敛到解区的边界。

四、感知器准则函数

这里考虑构造线性不等式