线性分类边界由来已久。著名的感知机模型就是采用线性分类边界的老祖宗。对于线性可分的分类问题，线性分类边界的好处是很明显的，那就是计算简单。不管有多少个正反例样本，最后训练完成以后，真正的分类器执行分类的时间复杂度是和样本空间的维数同阶的。这个计算代价，应该是相当理想的。

    在机器学习中，情况可能并不如此理想，很多问题不是线性可分的。于是有了核函数，希望通过非线性变换使得样本集在某个高维空间线性可分。有些非线性变换，比如所谓的RBF（径向基函数）有着很深刻的几何内涵和物理意义。这里面就出现一个手段和目的的顺序问题。究竟是为了凑线性可分而做非线性变换，还是非线性变换本身更重要？

    我们来看一个具体的例子：假设在二维空间中，(0,1)、(0,-1)是正例，(1,0)是反例。按照svm的标准，x=1/2可以称得上是正反例之间的一条“理想的”线性分界线。现在考察分界线上的点(1/2,1)。按说，这点距离正例样本点(0,1)只有1/2，但是距离反例样本点(1,0)的距离却是2分之根号5。于情于理，正例样本对这个点的影响力要比反例样本大得多，但是按照线性分界，这个点的泛化倾向却是中性的！

    这个例子说明，线性分类边界规定了一个特殊的方向，也就是线性分界超曲面（在二维情形就是分界线）的法线方向。似乎沿这个方向与分界超曲面的垂直距离成了决定泛化倾向强弱的最关键因素。这个方向的特权的存在，严重破坏了样本点对泛化倾向影响的“各向同性”性质。而“各向同性”性质，其在物理意义上的内涵要比线性分界超曲面深刻得多。舍各向同性而取计算方便，这是“术”而不是“道”。

    诚然，像RBF这样的非线性变换，在一定程度上体现了样本点对泛化倾向影响的“各向同性”性质，但其出发点是为了在一个高维空间上线性可分，而不是为了忠实于“各向同性”的性质。如果样本集本来就线性可分（比如我们上面的例子），恐怕没有人愿意先做一个非线性变换然后再在变换后的空间里用线性边界区分正反例样本点的泛化倾向，这不是自找麻烦么！但是，如果是为了忠实于“各向同性”的性质，这么做就是很有必要的。

    基于以上思考，我觉得线性分类边界纯属一种因为计算上方便而建立的模型，它在物理意义上乏善可陈，应该有更好的、忠实于样本点对于泛化倾向影响力的“各向同性”性质的模型取而代之。至于新的模型会不会命中注定在计算上不方便，我没有那么悲观。无论是采用非线性变换映射到高维空间求得一个更符合物理意义的线性分类边界，还是在原空间通过聚类簇进行粒度可变的多级近似，都有希望在不增加分类器计算复杂性的前提下取得比线性分类边界更具物理意义的泛化效果。当然在这个方向上还要做大量的基础性、实验性工作。但是，我认为值。