的理论基础支持向量机的统计学习理论核函数支持向量分类机支持向量分类机几类支持向量分类机及应用介绍支持向量回归机支持向量回归机多维输出支持向量回归机本章小结第三章多维输出双支持向量回归机问题的提出算法算法及其优越性传统拆分法算法建立实验与分析实验过程实验结果与分析本章小结第四章基于二范数的多维输出支持向量回归机问题的提出多维输出支持向量回归机四元数除代数情况下的支持向量回归机及其优越性算法建立实验与分析实验过程实验结果与分析本章小结第五章扩充核空间的扩充核空间的算法建立实验结果与分析万方数据多维支持向量回归机在股指预测中的应用问题的提出实验结果与分析本章小结第六章总结与展望总结展望参考文献附录程序清单附录攻读硕士学位期间撰写的论文附录攻读硕士学位期间参加的科研项目致谢万方数据南京邮电大学硕士研究生学位论第章绪论第章绪论随着科技与信息的迅速发展，“大数据”逐渐被科技界和企业界所重视。小至企业，大至国家都将数据的重要性提到了前所未有的高度。如何充分利用这些海量数据，顺利将各类海量数据与有效的科学处理方法相结合，成为广大研究者亟需探索和解决的挑战性问题。支持向量机对数据进行分类和回归方面有套完善的理论体系，是基于统计学习理论和最优化方法解决数据处理中若干问题的有力工具。然而已有的算法在适应新环境中，数据信息量大高时效性的特点下有着各自的局限性，因此寻找出更高效更精确的算法成为我们科研探索的目标。研究背景数据是这个时代最大的特色之，科学领域军事领域工业领域商业领域乃至人们的生活中，无处不充斥着各种各样的数据。而面对如此海量的数据，怎样进行数据的处理成了人们不得不重视的问题。显而易见的是，不论是多么复杂和庞大的数据，从手法来看主要分为两大类，即数据的分类和数据的回归从过程来看都是通过对已知数据观测，达到寻找出整个同类数据的产生规律最终达到对未来数据进行分类识别或者预判的效果。这样来，怎样正确的进行分类和回归成为了我们需要研究的焦点。为了寻求更智能简单合理精确高效的分类和回归学习算法，人们不断创新将数据处理推往机器学习的智能之路，而从统计学习理论，简称中成长起来的支持向量机也应运而生。机器学习的起源人从呱呱坠地成为人类社会中员的那刻起就开始了自己的学习生涯，不断的从生活中接收各种各样的数据，经过自己大脑的理解和处理，产生系列的反应。这就是人类大脑的个学习过程，而机器学习就是用机器来对人类学习过程进行模仿，并将这种思想和方法在人工智能方面进行发展的种方法。机器学习的具体思想是对于已知的输入数据，选取种合理的方法对数据进行处理和学习，寻找出数据内部提出决策导向循环图针对多类问题，它将多个两类分类器组合成多类分类器，对于类问题，含有个分类器，每个分类器对应两类。另外，还有光滑支持向量机，简化支持向量机，小波支持向量机支持向量机万方数据南京邮电大学硕士研究生学位论第二章相关背景知识介绍，模糊支持向量机，双支持向量机，等等。的应用方面支持向量机的泛化性能好，并在解决非线性和维数灾难方面有很好的效果，使得支持向量机算法在模式识别回归预测等方面都得到了很好的应用。在模式识别方面，对于语音识别人脸图像识别遥感图像分类数据挖掘等方面的问题，支持向量机算法都有很好的表现。在工业信息业领域的应用正受到多方研究者的重视。支持向量回归机支持向量机最早用来解决模式识别的问题。自从将不敏感损失函数引入到支持向量机之后，这种算法就用于解决非线性回归问题，将之称作支持向量回归机，。目前，在数据建模预测以及优化等方面进行研究时，已成功应用支持向量回归机。支持向量回归机线性支持向量回归机如果输入变量的值为训练样本集，相应的输出变量为，那么在进行估计时就可以用线性回归函数。为了找到个最小的，可以采用欧几里德空间的范数最小化。为了对所有的训练数据进行估计并保持定的精度，引入损失函数，将寻找最小的问题变为凸优化问题，针对拟合误差的存在，引入松弛变量和，这样回归估计问题如下上式中，引入是对回归函数的平坦程度以及偏差大于的样本点个数两方面进行平衡控制。式是通过构造带超平面的最优化问题即不敏感损失函数所得的回归模型，最优的回归预测函数表达式为万方数据南京邮电大学硕士研究生学位论第二章相关背景知识介绍非线性支持向量回归机寻求非线性回归函数，只需要用非线性分划替代线性分划。对于原训练集，其中，。引进从空间到空间的变换相应的非线性支持向量回归机原始问题对偶问题如下，求解上述对偶问题之后得到回归函数几类支持向量回归机算法介绍通过对各种支持向量机分类进行回归方向的扩充，产生出不同支持向量机对应的支持向量回归机，这类回归机继承了相应支持向量机的优势。另方面，针对支持向量回归机所选取的参数核函数系数以及算法本身应用方面的问题的研究，产生了系列新的支持向量回归机这里分别加以介绍些主要的支持向量回归机支持向量回归机，。在支持向量回归机，中，我们的出发点是选定不敏感损失参数中的参数和。然而，在些情况下选择个合适的不是件容易的事情。所以，在这里，选定另外个参数和，有明显的实际意义，它是间隔错误样本的个数占总样本个数万方数据南京邮电大学硕士研究生学位论第二章相关背景知识介绍的比例的上界，又是支持向量个数所占总样本个数比例的下界，易于选择。因此，支持向量回归机大体上可以用参数控制支持向量个数或错误样本点个数。这就为值得选取提供了个依据，能够自动计算和支持向量回归机作为支持向量回归机的种变形，在这个意义上说，支持向量回归机优于支持向量回归机。最小二乘支持向量回归机，最小二乘支持向量回归机用等式约束代替支持向量回归机中的不等式约束，并用二次损失函数逼近目标函数中的次损失函数，进步简化了约束条件，与支持向量回归机相比，最小二乘支持向量回归机需要求解的最优化问题是只含个等式约束的凸二次规划问题，所以求解比较简单，仅仅相当于求解个线性方程组，大大降低了计算复杂度。最小二乘支持向量回归机由于其良好的性能，得到学者的广泛关注，且应用于很多实际问题当中去，同时也取得了不错的结果。类中心支持向量回归机该方法采用类中心支持向量分类机的思想，利用类中心构建分化超平面，进而提出种新的支持向量回归机类中心支持向量回归机。在该模型中，类中心支持向量回归机将目标函数增加了项，从而使问题变为严格凸二次规划，保证了决策函数的唯性，且其对偶问题少了等式约束，只有边界约束。该算法的优点是适合迭代求解，同事采用矩阵分解技术，每次只需要更新拉格朗日乘子的个分量，不需要载入所有的训练样本，从而提高了收敛速度，并且预测性能也优于标准支持向量回归机。还有许多支持向量回归机算法，比如光滑化的支持向量回归机，双支持向量回归机，最小二乘双支持向量回归机等等。多维输出支持向量回归机多维目标函数的支持向量回归机年，和等人提出了多维目标函数的支持向量回归机。该算法提出了超球面的不敏感损失区域，用来代替独立支持向量机系统中的不敏感损失带。在二次限制条件的支持向量机算法中，使用迭代的方法来加以求解最优值。给定训练集，，其中，，并且给定映射到高维空间的非线性转换，，且有。则有原问题如下万方数据南京邮电大学硕士研究生学位论第二章相关背景知识介绍其中，且。引入拉格朗日乘子，，得到拉格朗日函数如下再用条件求解该问题，然后用迭代法求解最优化问题第步，先设定确定的值以求得和值第二步，根据第步获得的值重新计算值，如此迭代直到满足终止条件。合并和得到下式同时满足条件，从可知以上就是的主要思想及算法由来。系统中的年，和等人提出了多输入多输系统中出非线性信道估计的多维支持向万方数据单位代码密级硕士学位论文论文题目多维输出支持向量回归机若干研究及应用杨蕾李雷应用数学非线性分析及其应用理学硕士二〇四年二月学号姓名导师学科专业研究方向申请学位类别论文提交日期万方数据万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档允许论文被查阅和借阅可以将学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编本学位论文。本文电子文档的内容和纸质论文的内容相致。论文的公布包括刊登授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名日期研究生签名导师签名日期万方数据摘要支持向量回归机是在统计学习理论和最优化理论的基础上发展起来的种机器学习方法，它继承了支持向量机方法的克服了“维数灾难”和“过学习”等优点，具有直观的几何解释和完美的数学形式，从而有力地推动了回归预测的发展，成为研究热点。本文主要研究多维输出支持向量回归机及其应用问题。主要创新工作如下提出了多维输出双支持向量回归机，。用扩充的多维