经网络算法神经网络算法神经网络算法算法复杂度的研究本章小结第三章第类权函数神经网络的算法复杂度研究样条权函数神经网络基本结构权函数神经网络的训练算法第类权函数的神经网络的结构第类权函数的神经网络结构与训练算法般情况牛顿插值第类权函数神经网络算法复杂度理论分析逼近定反复迭代，知道网络对输入的相应达到预定的目标范围为止。神经网络结构如下图所示。神经网络采用有监督学习规则，采用沿误差梯度下降的算法进行训练，使用反向传播算法对网络的权值和阈值进行反复调整训练，使实际输出值与期望值尽可能接近，当网络输出层的误差平方和小于指定的误差时停止训练，保存网络的权值和偏差。具体步骤主要为初始化，随机给定个连接权值和阈值由给定的输入输出计算隐层输出层各单元输出计算新的连接权值和阈值选取下个输入模式重新计算各单元输出直到网络输出误差达到理想范围内停止训练。神经网络包括输入层输出层以及输入层和输出层之间的隐层构成。隐层可以是单层，也可以是多层，与外界没有直接的联系。隐层中的神经元也被称为隐单元。虽然隐层与外界没有直接的连接，但是，隐层的状态则会影响输入和输出之间的关系。改变隐层的权系数，能够改变整个神经网络的性能。图网络结构算法虽然应用广泛，但是算法也有其缺陷和局限性。梯度下降法可能会找到局部最小值而不全局最小值。从反向传播学习获得的收敛速度非常慢。反向传播学习的收敛性不能保证反向传播学习不需要输入向量的归化，但是，归化可以提高性能。万方数据南京邮电大学硕士研究生学位论文第二章神经网络基础神经网络算法径向基函数，在年由提出的。神经网络通常包括三层输入层，隐层，输出层。径向基函数其实就是沿径向对称的标量函数，其取值只依赖于离远点的距离。标准的径向基函数般使用欧式距离，也可以使用其他距离函数。径向基函数神经网络，在世纪年代末期由和提出的。网络能够逼近任意的非线性函数，有良好的泛化能力以及很快的学习收敛速度，可以处理系统内的复杂的规律性网络已成功的应用于数据分类信息处理模式识别图像处理控制和故障诊断等方面。神经网络通常包括三层输入层，由信号源节点组成第二层是隐层，用来进行输入空间到隐层空间的非线性变换，隐层单元的数目有所描述问题的需求决定第三层是输出层，是对输入模式的响应。从输入空间到隐层空间是非线性的变换，而从隐层空间到输出层空间是线性的变换。算法复杂度的研究算法是求解具体问题的组步骤，由系列的指令组合而成，每条指令包含个或多个操作。按照功能划分，算法具有以下特征输入个算法必须有个或个以上输入，以描述算法运算对象的初始状态。个输入是指算法本身包含运算对象的初始状态输出个算法必须有个或个以上输出，以描述算法执行之后对象的状态或算法执行的结果，没有输出的算法不具有意义有穷性个算法必须在有限数目的步骤内执行完成。算法中的执行步骤是有限的，并且步骤执行完成后该算法能够自动结束，以及每个步骤的执行时间是可接受的。在现实中，如果个算法不符合有穷性的约束，那么应用该算法写出的代码运行的时候会出现死循环的状态。本文中的有穷是在实际应用当中合理的可以接受的“有边界”的值，其概念与纯数学意义上的有穷有定的区别。如果个算法需要在计算机上运行十年以获得最终的结果，那么该算法在符合在纯数学意义上关于是有穷性的定义，但是它在实际应用中却是不合理的准确性算法必须能被正确的描述，以保证实际计算结果完全符合期望，且实际运行结果是确定的万方数据南京邮电大学硕士研究生学位论文第二章神经网络基础可行性算法中的每个步骤都可以被分解成有限次数元计算的组合来实现，算法中所执行的任何计算步骤都可以被分解为基本的可执行步骤，即每个计算步骤可以在有限的时间内完成。在算法中的每步骤都可以执行，这就意味着在算法中的每步都可以通过有限的执行次数实现。算法的可行性意味着算法可以通过与之对应的程序在计算机上运行实现预期的结果同个问题可以用不同算法解决，个算法的优劣将影响到算法乃至程序的效率。个算法的评价主要从时间复杂度和空间复杂度方面来考虑。时间复杂度在计算机科学中，算法的时间复杂度是个函数，它定量描述了该算法的运行时间。这是个关于代表算法输入值的字符串的长度的函数。时间复杂度常用大符号表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是渐近的，它考察当输入值大小趋近无穷时的情况。举例，如果个算法对于任何大小为的输入，它至多需要的时间运行完毕，那么它的渐近复杂度是。计算时间复杂度的过程，常常需要分析个算法运行过程中需要的基本操作，计量所有操作的数量。通常假设个基本操作可在固定时间内完成，因此总运行时间和操作的总数量最多相差个常量系数。有时候，即使对于大小相同的输入，同算法的效率也可能不同。因此，常对最坏时间复杂度进行分析。最坏时间复杂度定义为对于给定大小的任何输入，个算法的最大运行时间，记为。空间复杂度算法的空间复杂度是在求解该问题的所有算法中，空间复杂性最小的算法的空间复杂度。不同于时间复杂度度量算法在运行过程中占用的时间，空间复杂度通过计算算法所需的存储空间实现，所以空间复杂度度量算法在运行过程中占用的存储空间大小，计算公式为，其中为问题的规模，为语句关于所占存储空间的函数。该公式表明随着问题规模的增大，算法运行所需存储量的增长率即算法的空间复杂度与的增长率相同。随着计算机技术的发展，硬件成本越来越低，存储控件也呈质的飞跃，程序占用空间大小已经不再是软件技术发展的瓶颈。相对于时间复杂度，对空间复杂度的研究并不十分重要甚至有时会牺牲部分的空间复杂度来提高时间复杂度。所以，本文的研究重点在时间复杂度上。万方数据南京邮电大学硕士研究生学位论文第二章神经网络基础本章小结本章主要介绍了人工神经网络的些基础知识，包括人工神经网络的定义，从生物神经网络到人工神经网络的发展，介绍了人工神经网络的基本模型与学习规则给出了典型的神经网络结构以及权函数神经网络的相关概念，并对算法复杂度的概念以及研究算法复杂度的意义进行了介绍。为将要介绍的的权函数神经网络算法时间复杂度的研究提供了个理论基础。万方数据南京邮电大学硕士研究生学位论文第三章第类权函数神经网络的算法复杂度研究第三章第类权函数神经网络的算法复杂度研究传统的前馈性神经网络在训练后得到的是些离散的常数权值。这些常数权仅仅是些离散的数据，很难把这些权值与训练过的样本之间建立起真正的内在关系，也就是说，人们很难从存储在神经网络的权值中提取有用的规则。为了克服这缺陷，在神经网络新理论与方法这篇文献中，作者提出了种新型结构的神经网络结构并给出了它的训练算法，这种新型的算法被称为样条权函数训练算法。样条权函数学习算法使得训练后的神经网络的权值是输入样本的函数，与传统算法不同的是，这里采用的不是传统的常数，而是三次样条函数。训练后的权函数可以很好的反映样本的信息特征。在传统的神经网络基础上，在此基础上，本文类推出第类权函数神经网络的拓扑结构和训练算法。然后根据算法复杂度的定义，对第类权函数神经网络的算法复杂度的计算公式进行推导，然后分析了第类权函数神经网络的误差。最后验证了第类权函数神经网络的可行性以及其算法复杂度公式的正确性，并给出仿真实验，同时给出了误差分析实验，并且用实验验证了第类权函数神经网络的时间复杂度好于传统神经网络，。样条权函数神经网络基本结构文献神经网络新理论与方法中首先介绍了样本函数和学习曲线。样本函数和学习曲线是权函数神经网络学习算法区别于传统算法的重要部分。要了解权函数神经网络，首先要清楚样本函数和学习曲线是的定义。神经网络的实质就是映射，这种映射般表示为输入变量通过变换函数映射到输出变量，假设自变量是维，，，因变量是维，，，满足以下条件由式和，给定自变量以后，可以确定输出变量，进而唯确定包含的每个分量，，因此每个分量，可以被看作，的函数，其中维数是自变量，即有万方数据单位代码密级硕士学位论文论文题目第类权函数神经网络的算法复杂度研究及其应用徐晏张代远计算机应用技术智能计算硕士学号姓名导师学科专业研究方向申请学位类别论文提交日期万方数据万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档允许论文被查阅和借阅可以将学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编本学位论文。本文电子文档的内容和纸质论文的内容相致。论文的公布包括刊登授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名日期研究生签名导师签名日期万方数据摘要本文的主要目的就是在第类权函数神经网络理论的基础上，类推出第类权函数神经网络的拓扑结构，然后推导出第类权函数神经网络的算法复杂度，并且给出误差分析。然后通过实验验证理论结果，并且验证第类权函数神经网络在算法复杂度优于传统的神经网络。本文研究的是第类权函数神经网络算法复杂度。第类权函数神经网络结合了权函数神经网络与逼近的优点，是种特殊的权函数神经网络。本文在第类权函数神经网络的理论基础上，结合牛顿插值和逼近的相关理论，对第类权函数神经网络算法的步骤进行了介绍，根据算法复杂度的定义，通过对算法关键步骤的运算次数的分析，得出算法的时间复杂度，然后分析了网络误差，并利用仿真实验对结果进行了验证。文中推导出了第类权函数神经网络的算法复杂度的复杂度公式，得到结论是算法复杂度与样本输入维数输出维数以及样本点个数有关。从仿真试验的结果可以看出第类权函数神经网络算法复杂度在输入输出维数确定的情况下，关于样本数呈