给出最优解为如下二次决策函数当时该二次决策函数退化为个线性函数评估二次决策函数需要确定个自由参数,而评估线性函数只需要个自由参数在观测数目较小小于的情况下评估个参数是不可靠的因此提出以下建议,在≠时也采用线性判别函数,其中的采用如下形式,这里是个常数也对两个非正态分布的线性决策函数给出了建议因此模式识别的算法最开始是和构建线性决策平面相关联的年,提出了种不同的学习机器感知器或神经网络感知器由相关联的神经元构成,每个神经元实现个分类超平面,因此整个感知器完成了个分段线性分类平面如图没有提出通过调整网络的所有权值来最小化向量集上误差的算法,而提出了种自适应仅仅改变输出节点上的权值的方法由于其他权值都是固定的,输入向量被非线性地映射到最后层节点的特征空间在该空间的线性决策函数如下通过调整第个节点到输出节点的权值来最小化定义在训练集上的种误差的方法,再次将构建决策规则归结为构造个空间的线性超平面年,针对模式识别问题出现了通过调整神经网络所有权值来局部最小化向量集上误差的算法即后向传播算法算法对神经网络的数学模型有微小的改动至此,神经网络实现了分段线性决策函数本文提出了种全新的学习机器,支持向量网络它基于以下思想通过事先选择的非线性映射将输入向量映射到个高维特征空间在空间里构建个线性决策面,该决策面的些性质保证支持向量网络具有好的推广能力例如要构造个与二阶多项式对应的决策面,我们可以构造个特征空间,它有如下的个坐标其中,分类超平面便是在该空间中构造的以上方法存在两个问题个是概念上的,另个是技术上的概念上的问题怎样找到个推广性很好的分类超平面特征空间的维数将会很高,能将数据分开的超平面不定都具有很好的推广性技术上的问题怎样在计算上处理如此高维的空间要在个维的空间中构建个或阶的多项式,需要构造个上十亿的特征空间概念上的问题在年通过完全可分情况下的最优超平面得以解决最优超平面是指使两类向量具有最大间隔的线性决策函数,如图所示可以发现,构造最优超平面只需考虑训练集中决定分类隔间的少量数据,即所谓的支持向量如果训练集被最优超平面完全无错地分开,则个测试样例被错判的期望概率以支持向量的期望数目与训练集向量数目比值为上界,即注意,这个界与分类空间的维数无关并且由此可知,如果支持向量的个数相对与整个训练集很小,则构建出来的分类超平面将具有很好的推广性,即便是在个无限维空间第节中,通过实际问题我们验证了比值能够小到而相应的最优超平面在个十亿的特征空间依然具有很好的推广能力令为特征空间里的最优超平面我们将看到,特征空间中最优超平面的权值可以写成支持向量的个线性组合从而特征空间里的线性决策函数为如下形式,其中表示支持向量和向量在特征空间里的内积因此,该决策函数可以通过个两层的网络来描述如图尽管最优超平面保证了好的推广性,但如何处理高维特征空间这个技术上的问题依然存在年,在文献中证明构造决策函数的步骤可以交换顺序不必先将输入向量通过种非线性变换映射到特征空间再与特征空间中的支持向量做内积而可以先在输入空间通过内积或者种别的距离进行比较,再对比较的值进行非线性变化如图这就允许我们构造足够好的分类决策面,比如任意精度的多项式决策面称这种类型的学习机器为支持向量网络支持向量网络的技术首先针对能够完全无错地分开的数据集本文我们将支持向量网络推广到不能完全无错分类的数据集通过该扩展,作为种全新的学习机器的支持向量网络将和神经网络样的强大和通用第节将展示它在维的高维空间中针对高达阶的多项式决策面的推广性并将它和其他经典的算法比如线性分类器近邻分类器和神经网络做了性能上的比较第节着重引出算法并讨论了算法的些性质算法的些重要细节参见附录最优超平面本节回顾文献中针对能被完全无错分开的训练数据的最优超平面方法下节介绍软间隔的概念,用来处理训练集不完全可分情况下的学习问题最优超平面算法训练样本集是线性可分的。如果存在向量和标量使得以下不等式对中所有元素都成立我们将不等式写成如下形式最优超平面是指将训练数据以最大间隔分开的那个平面它决定了向量的方向,该方向上两不同类别训练向量间的距离最大可回顾图记这个距离为,,它由下式给定,最优超平面,便是使得距离取最大值的那组参数根据和可得,这表明,最优超平面就是满足条件并且使得最小化的超平面因此,构建个最有超平面其实就是个二次规划问题满足的向量即为支持向量附录中将证明决定最优超平面的向量可以写成所有训练向量的个线性组合,其中由于只有支持向量处的系数参考附录,表达式只是的种简写形式要求出参数向量,需要求解以下二次规划问题其中,且满足限制,,是维的单位向量,是维的类标签向量,是的对称矩阵其元素,,不等式表示非负象限因此,问题变为在非负象限中最大化二次式,并服从约束条件当训练数据可完全无错地分开时,在附录中我们证明了在最大泛函,和式的最大间隔之间有以下关系如果存在个和个较大的常数使得不等式成立,则所有把训练集分开的超平面其间隔都满足如果训练集不能被超平面完全分开,则两个类的样本间的间隔变的任意小,使得泛函的值变得任意大因此,要在约束条件和下最大化泛函,要么能求得最大值这种情况需要构造最大间隔为的最优超平面,要么求出超过个给定的常数的最大值这种情况下不可能以大于的间隔分开训练数据在约束条件和下最大化泛函的问题如下方法可有效地解决将训练数据集划分为几部分,使每部分占有合理的少量数据先求解由第部分训练数据决定的二次规划问题对于该问题,会有两个结果其,这部分数据不能被任何超平面分开这种情况下整个数据集都不能被任何超平面分开其二,找到了能分开这部分数据的最优超平面假设对第部分数据泛函的最大化时对应的向量为该向量些维上取值为零,它们是和该部分数据中非支持向量相关的将第部分数据中的支持向量和第二部分中不满足约束条件的向量组成个新的训练集,其中将由决定对于这个新的训练集,构建泛函并假设其在最大化持续递增地构造出覆盖全部训练数据的解向量,此时,或者会发现无法找到将整个训练集无错分开的超平面,或者构建出了整个训练集的最优超平面,且值得注意的是,在这个过程中泛函的值是单调递增的,因为越来越多的训练向量被考虑到优化过程中来,使得两类样本之间的间隔越来越小软间隔超平面考虑训练数据不能完全无错地分开的情况,此时,我们希望能以最小的将训练集分开为形式化进行表示,引入非负变量,现在,最小化泛函参数,约束条件为,,,对于足够小的,泛函描述了训练数最小化泛函可获得被错分样本的个最小子集,