延时的。可见，人工神经网络是由以上许多非线性系统组成的大规模系统。处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类前向型和反馈型。前向型常认为是分层结构，各神经元接收前级的输入，并输出到下级。各层内及层间都无反馈。神经元上层下层输入节点为第层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但般称权值层为网络的层，即网络的第层包括输入节点层，第隐含层以及它们之间的连接权。反馈型网络可用个完全无向图表示横线相当于双箭头下面是个简单的用神经网络作处理的例子如图所示的单层前向网络由个神经元单元组成，接收个输入。第个输入到第个神经元的连接权表示为，则有第个神经元的输出是，定义连接权矩阵为引入个非线性矩阵算子其中为神经元的变换函数，则网络的输出矢量可写成可见，个前向神经网络用来将个维输入空间映射到维输出空间，或者说，将输入模式映射成输出模式。神经网络的学习方式•前面的研究，主要是考察在给定神经网络存储在网格内的模式已知的输入后得到的响应，这个计算过程常称为神经网络的“回想”。现在要讨论的是网络存储模式的设计，这是网络学习的结果。•神经网络常用来解决难以用算法描述的问题，或者对处理的对象没有充分的了解，需要作“盲处理”，而神经网络的设计是通过些例子或些准则来训练，从方法上来说，神经网络信号处理以科学经验主义替代了传统的科学理单层前向网络的分类能力由个线性阈值单元并联而成的单层前向网络，是用个线性分解函数将输入空间分割成若干个区域，每个区域对应不同的输出模式。多层前向网络的非线性映射能力为了将单层前向网络划分的个区域作为类，可以将其输出进行逻辑“与”运算，用符号表示。只要第隐层的神经元足够多，则由线性阈值单元组成的三层前向网络可以对任意形状的非交的输入矢量集合进行正确分类，或者说实现任意离散非线性映射。实际上这种映射是用分段线性的分界函数逼近任意非线性分界函数。线性阈值单元取变换函数为双极性阶跃函数时，称为离散输出模型。若变换函数为函数，即为模拟状态模型。可以证明，只要隐节点能自由设置，则两层前向网络可以逼近任何连续函数，或者说实现任意连续型非线性映射。权值计算矢量外积算法对离散型单层前向网络，若已确定了输入矢量和相应的标准输出矢量，用基于学习准则的矢量外积法可计算出权值矩阵，即,若确定了个标准输入和输出矢量，则取，这样的设计的网络具有恢复和容错能力，网络在恢复阶段作内积运算。设标准输入矢量是正交的归化矢量，即有导师学习法误差修正法用来训练网络的输入模式称为训练序列，它们对应的正确响应称为导师信号。根据网络的实际响应与导师信号的误差自适应调整网络的权矢量，称为误差修正法，即式中，为迭代次数为修正量，与误差有关。单个神经元的学习算法单个神经元的学习方法依变换函数不同而异。线性单元的算法离散型单元的误差修正法连续型单元的算法多层前向网络的学习算法误差反向传播算法算法中假设了输出误差作反向传递，所以称为反向传播法或称算法。算法是按均方误差的梯度下降方向收敛的，但这个代价函数并不是二次的，而是更高次的。也就是说，构成的连接空间不是只有个极小点的抛物面，而是存在许多局部极小点的超曲面。算法收敛速度较慢，但对些应用而言，则希望有较快的收敛速度，也有些加速方法。比如集中权值调整。自适应调整学习常数。权值调整量附加“惯性”项。随机学习算法算法由于采用直接梯度下降，往往落入代价函数的局部极小点。随机算法则是用于寻找全局最小点，而是以最大概率达到全局最小点。下面讨论称为模拟退火的随机学习算法。模拟退火学习算法有四个步骤产生新状态计算新状态的能量函数判断是否接受新状态降低温度前向网络可以用具体自组织特性的无导师学习算法训练权值，然而，将前向网络与反馈网络组合在起进行无导师训练时，显示出了更强的自组织处理能力。反馈网络及其能量函数•反馈网络与线性网络样存在着稳定性问题，本节先介绍动态系统稳定性的基本概念和分析方法，然后讨论离散和连续型单层反馈网络的动态特性和网络权值设计复合型反馈网络等问题，主要讨论网络。•非线性动态系统的稳定性•在期望输出的模式设计成网络的稳定平衡态，存储在权值中，这两个吸引子都是孤立的点，称为不动吸引子。有些吸引子是同期循环的状态序列，称为极限环，犹如数字循环计数器的稳定循环状态。另外还有些更复杂的吸引子结构。向个吸引子演化的所有初始状态称为这个吸引子的收敛域。第八章神经网络信号处理•神经网络模型•多层前向网络及其学习方法•反馈网络及其能量函数•自组织神经网络•神经网络在信号处理中的应用第八章神经网络信号处理前面讨论的最佳滤波自适应滤波和现代谱估计等都是在线性模型的前提下求最佳估计。但在实际中存在着大量的非线性模型问题，或者为题的数学模型往往很难建立或者不可能建立。人工神经网络是种以自适应为特征的无固定模型的非线性网络，可用于处理非线性模型为题或模型很难建立的问题。下面仅在第节简要介绍以生物学为基础的简化的神经元模型，而在其后章节中则是将神经网络作为信号处理的种手段，不在追求网络的生物学意义。神经网络模型生物神经元及其模型生物的脑神经系统通过感觉器官视觉嗅觉味觉触觉接收外界信息，在大脑中枢进行加工，然后通过执行器官向外输出。从而构成个具有闭环控制系统特征的大规模系统。下图显示为神经系统的信息流处理。年，和提出了种高度简化的神经元模型，简称模型。设个神经元具有个输入，各输入信号的强度分别为。神经元的输出为。模型的激活规则可由离散时间的差分方程描述,式中，神经元的输入输出值为或。代表神经元的兴奋状态，代表神经元的静止状态。表示第个输入与神经元的连接强度。为神经元的阀值。当各输入与其连接强度的加权和超过时，神经元进入兴奋状态。,各种神经元模型的结构是相同的。都由个处理节点和连接权神经键连接强度组成，带有个输出端，信号从输入到输出端单向传输。各种神经元模型的不同之处仅在于对处理节点中的传递函数和激活函数的数量描述不同。下图为神经元的般模型及其符号。,其中，输入矢量权矢量神经元可看成是个多输入单输出的非线性信号处理系统。其输入输出关系为为方便起见，可将阈值等效成个恒定的输入，其连接权为，即，这样净输入写成,这样，设为扩展的输入矢量和权矢量,常用的变换函数有以下四种阶跃函数线性限幅函数函数和随机函数。其中，阶跃函数和函数分别称为离散型的连接型的，它们可以是单极性的，也可以是双极性的。阶跃函数和函数的表达式阶跃函数离散型双极性型函数连续型,,可见人工神经网络模型可以这样定义人工神经网络它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元包括自身相互连接，其中连接可以是延时的，也可以是无延时的。可见，人工神经网络是由以上许多非线性系统组成的大规模系统。处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类前向型和反馈型。前向型常认为是分层结构，各神经元接收前级的输入，并输出到下级。各层内及层间都无反馈。神经元上层下层输入节点为第层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但般称权值层为网络的层，即网络的第层包括输入节点层，第隐含层以及它们之间的连接权。反馈型网络可用个完全无向图表示