1、“.....,阈值„,,以及参数„,,设为阈值前馈网络,且隐层数目足够多,则该网络的第隐层所产生的函数族为式,该网络的维为式。定理说明,阈值前馈网络的第个隐证明,对仅有个隐层且输入为实值向量的前馈阈值神经网络来说,如果网络有个可调参数,则其维下界为。年,对的结论做了进步扩展,证明对至少有两个隐和等人分别证明,对以阈值函数为响应函数的前馈神经网络,若网络有个连接权,则其维上界为,其中表示以为底的对数。年,和。对于任意函数和,如果存在使得,则记为如果存在使得......”。
2、“.....则记为。阈值网络以阈值函数分段多项式函数和函数为响应函数的神经网络上。为便于讨论,我们引入三个符号年,通过构造性方法证明,神经网络的维并不定是有限的。因此,对神经网络维的讨论必须针对定的网络结构,这样才能保证维为有限值。目前,这方面的研究成果主要集中在的统计学方面做了大量的工作,他们的成果与等人在计算学习理论方面的工作起,被引入学习模型中。从此,神经网络维的计算受到了极大的重视。果我们能求出其维,则可以确定合适的训练集规模。显然,这对寻找指出的最优解有重要的启发作用。最早进行了神经网络维的计算工作,在此之后,在相关数的数目......”。
3、“.....因此,网络的维与拓扑结构之间有必然的联系。在给定训练集的情况下,如果我们能求出合适的维,则可以帮助确定网络的结构反之,在给定网络结构的情况下,如表示该集合可能的取值集合,则神经网络的学习过程可被视为通过选择来确定函数,。这样,如果求出函数族的维,我们就得到了该神经网络的维。由于神经网络的维取决于网络中可调参说,每个权值阈值等参数都已被确定的神经网络就相当于个函数。不妨假设网络有个输入神经元,个输出神经元,则该网络对应于个函数。如果我们用来表示所有权值阈值等可调参数的集合,,要获得个泛化性能较好的学习系统......”。
4、“.....研究进展概述由于神经网络也是种基于统计的学习方法,因此其维也满足节中关于般学习系统的讨论。从功能上来置信度。由式可以看出,在学习系统维与训练集规模的比值很大时,即使经验风险较小,也无法保证期望风险较小,即无法保证学习系统具有较好的泛化能力。因此任取满足,下列边界以概率成立其中为函数族,,的维,为训练集规模。式右侧第二项通常称为的最小值。与证明,该假设成立的充要条件是函数族,,的维为有限值。还证明,期望风险满足个上界,即代替期望风险,用使最小的......”。
5、“.....。这类方法有个基本的假设,即如果收敛于,则的最小值收敛于的扩大,将逐渐收敛于。基于统计的学习方法大多建立在经验风险最小化原则基础上,其思想就是利用经验风险却是确定的,如式所示,其中,为训练样本,为训练集中样本数,即训练集规模。由数理统计中的大数定理可知,随着训练集规模的却是确定的,如式所示,其中,为训练样本,为训练集中样本数,即训练集规模。由数理统计中的大数定理可知,随着训练集规模的扩大,将逐渐收敛于。基于统计的学习方法大多建立在经验风险最小化原则基础上,其思想就是利用经验风险代替期望风险......”。
6、“.....来近似使最小的,。这类方法有个基本的假设,即如果收敛于,则的最小值收敛于的最小值。与证明,该假设成立的充要条件是函数族,,的维为有限值。还证明,期望风险满足个上界,即任取满足,下列边界以概率成立其中为函数族,,的维,为训练集规模。式右侧第二项通常称为置信度。由式可以看出,在学习系统维与训练集规模的比值很大时,即使经验风险较小,也无法保证期望风险较小,即无法保证学习系统具有较好的泛化能力。因此,要获得个泛化性能较好的学习系统,就需要在学习系统的维与训练集规模之间达成定的均衡......”。
7、“.....因此其维也满足节中关于般学习系统的讨论。从功能上来说,每个权值阈值等参数都已被确定的神经网络就相当于个函数。不妨假设网络有个输入神经元,个输出神经元,则该网络对应于个函数。如果我们用来表示所有权值阈值等可调参数的集合,表示该集合可能的取值集合,则神经网络的学习过程可被视为通过选择来确定函数,。这样,如果求出函数族的维,我们就得到了该神经网络的维。由于神经网络的维取决于网络中可调参数的数目,而后者又是由网络的拓扑结构所确定的,因此,网络的维与拓扑结构之间有必然的联系。在给定训练集的情况下......”。
8、“.....则可以帮助确定网络的结构反之,在给定网络结构的情况下,如果我们能求出其维,则可以确定合适的训练集规模。显然,这对寻找指出的最优解有重要的启发作用。最早进行了神经网络维的计算工作,在此之后,在相关的统计学方面做了大量的工作,他们的成果与等人在计算学习理论方面的工作起,被引入学习模型中。从此,神经网络维的计算受到了极大的重视。年,通过构造性方法证明,神经网络的维并不定是有限的。因此,对神经网络维的讨论必须针对定的网络结构,这样才能保证维为有限值。目前,这方面的研究成果主要集中在以阈值函数分段多项式函数和函数为响应函数的神经网络上......”。
9、“.....对于任意函数和,如果存在使得,则记为如果存在使得,则记为如果和同时满足,则记为。阈值网络和等人分别证明,对以阈值函数为响应函数的前馈神经网络,若网络有个连接权,则其维上界为,其中表示以为底的对数。年,证明,对仅有个隐层且输入为实值向量的前馈阈值神经网络来说,如果网络有个可调参数,则其维下界为。年,对的结论做了进步扩展,证明对至少有两个隐层的前馈阈值神经网络来说,其维下界为。的结论表述为定理定理设为层数至少两个隐层的层间全连接神经网络的任意序列,并且有个输入神经元和个计算神经元包括隐层神经元和输出神经元......”。
1、手机端页面文档仅支持阅读 15 页,超过 15 页的文档需使用电脑才能全文阅读。
2、下载的内容跟在线预览是一致的,下载后除PDF外均可任意编辑、修改。
3、所有文档均不包含其他附件,文中所提的附件、附录,在线看不到的下载也不会有。