1、“.....比如集中权值调整。自适应调整学习常数。权值调整量附加“惯性”项。随机学习算法算法由于采用直接梯度下降，往往落入代价函数的局部极小点。随机算法则是用于寻找全局最小点，而是以最大概率达到全局最小点。下面讨论称为模拟退火的随机学习算法。模拟退火学习算法有四个步骤产生新状态计算新状态的能量函数判断是否接受新状态降低温度前向网络可以用具体自组织特性的无导师学习算法训练权值，然而，将前向网络与反馈网络组合在起进行无导师训练时，显示出了更强的自组织处理能力。反馈网络及其能量函数•反馈网络与线性网络样存在着稳定性问题，本节先介绍动态系统稳定性的基本概念和分析方法，然后讨论离散和连续型单层反馈网络的动态特性和网络权值设计复合型反馈网络等问题，主要讨论网络。•非线性动态系统的稳定性•在期望输出的模式设计成网络的稳定平衡态，存储在权值中，这两个吸引子都是孤立的点，称为不动吸引子。有些吸引子是同期循环的状态序列，称为极限环，犹如数字循环计数器的稳定循环状态......”。

2、“.....向个吸引子习法误差修正法用来训练网络的输入模式称为训练序列，它们对应的正确响应称为导师信号。根据网络的实际响应与导师信号的误差自适应调整网络的权矢量，称为误差修正法，即样的设计的网络具有恢复和容错能力，网络在恢复阶段作内积运算。设标准输入矢量是正交的归化矢量，即有导师学量，用基于学习准则的矢量外积法可计算出权值矩阵，即,若确定了个标准输入和输出矢量，则取，这型。可以证明，只要隐节点能自由设置，则两层前向网络可以逼近任何连续函数，或者说实现任意连续型非线性映射。权值计算矢量外积算法对离散型单层前向网络，若已确定了输入矢量和相应的标准输出矢集合进行正确分类，或者说实现任意离散非线性映射。实际上这种映射是用分段线性的分界函数逼近任意非线性分界函数。线性阈值单元取变换函数为双极性阶跃函数时，称为离散输出模型。若变换函数为函数，即为模拟状态模的非线性映射能力为了将单层前向网络划分的个区域作为类......”。

3、“.....用符号表示。只要第隐层的神经元足够多，则由线性阈值单元组成的三层前向网络可以对任意形状的非交的输入矢量主义替代了传统的科学理单层前向网络的分类能力由个线性阈值单元并联而成的单层前向网络，是用个线性分解函数将输入空间分割成若干个区域，每个区域对应不同的输出模式。多层前向网络这是网络学习的结果。•神经网络常用来解决难以用算法描述的问题，或者对处理的对象没有充分的了解，需要作“盲处理”，而神经网络的设计是通过些例子或些准则来训练，从方法上来说，神经网络信号处理以科学经验式映射成输出模式。神经网络的学习方式•前面的研究，主要是考察在给定神经网络存储在网格内的模式已知的输入后得到的响应，这个计算过程常称为神经网络的“回想”。现在要讨论的是网络存储模式的设计，其中为神经元的变换函数，则网络的输出矢量可写成可见，个前向神经网络用来将个维输入空间映射到维输出空间，或者说，将输入模第个输入到第个神经元的连接权表示为......”。

4、“.....定义连接权矩阵为引入个非线性矩阵算子表示横线相当于双箭头下面是个简单的用神经网络作处理的例子如图所示的单层前向网络由个神经元单元组成，接收个输入。上层下层输入节点为第层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但般称权值层为网络的层，即网络的第层包括输入节点层，第隐含层以及它们之间的连接权。反馈型网络可用个完全无向图规模系统。处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类前向型和反馈型。前向型常认为是分层结构，各神经元接收前级的输入，并输出到下级。各层内及层间都无反馈。神经元人工神经网络它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元包括自身相互连接，其中连接可以是延时的，也可以是无延时的。可见，人工神经网络是由以上许多非线性系统组成的大双极性型函数连续型,,可见人工神经网络模型可以这样定义函数和随机函数。其中......”。

5、“.....它们可以是单极性的，也可以是双极性的。阶跃函数和函数的表达式阶跃函数离散型函数和随机函数。其中，阶跃函数和函数分别称为离散型的连接型的，它们可以是单极性的，也可以是双极性的。阶跃函数和函数的表达式阶跃函数离散型双极性型函数连续型,,可见人工神经网络模型可以这样定义人工神经网络它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元包括自身相互连接，其中连接可以是延时的，也可以是无延时的。可见，人工神经网络是由以上许多非线性系统组成的大规模系统。处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类前向型和反馈型。前向型常认为是分层结构，各神经元接收前级的输入，并输出到下级。各层内及层间都无反馈。神经元上层下层输入节点为第层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但般称权值层为网络的层，即网络的第层包括输入节点层......”。

6、“.....反馈型网络可用个完全无向图表示横线相当于双箭头下面是个简单的用神经网络作处理的例子如图所示的单层前向网络由个神经元单元组成，接收个输入。第个输入到第个神经元的连接权表示为，则有第个神经元的输出是，定义连接权矩阵为引入个非线性矩阵算子其中为神经元的变换函数，则网络的输出矢量可写成可见，个前向神经网络用来将个维输入空间映射到维输出空间，或者说，将输入模式映射成输出模式。神经网络的学习方式•前面的研究，主要是考察在给定神经网络存储在网格内的模式已知的输入后得到的响应，这个计算过程常称为神经网络的“回想”。现在要讨论的是网络存储模式的设计，这是网络学习的结果。•神经网络常用来解决难以用算法描述的问题，或者对处理的对象没有充分的了解，需要作“盲处理”，而神经网络的设计是通过些例子或些准则来训练，从方法上来说......”。

7、“.....是用个线性分解函数将输入空间分割成若干个区域，每个区域对应不同的输出模式。多层前向网络的非线性映射能力为了将单层前向网络划分的个区域作为类，可以将其输出进行逻辑“与”运算，用符号表示。只要第隐层的神经元足够多，则由线性阈值单元组成的三层前向网络可以对任意形状的非交的输入矢量集合进行正确分类，或者说实现任意离散非线性映射。实际上这种映射是用分段线性的分界函数逼近任意非线性分界函数。线性阈值单元取变换函数为双极性阶跃函数时，称为离散输出模型。若变换函数为函数，即为模拟状态模型。可以证明，只要隐节点能自由设置，则两层前向网络可以逼近任何连续函数，或者说实现任意连续型非线性映射。权值计算矢量外积算法对离散型单层前向网络，若已确定了输入矢量和相应的标准输出矢量，用基于学习准则的矢量外积法可计算出权值矩阵，即,若确定了个标准输入和输出矢量，则取，这样的设计的网络具有恢复和容错能力，网络在恢复阶段作内积运算......”。

8、“.....它们对应的正确响应称为导师信号。根据网络的实际响应与导师信号的误差自适应调整网络的权矢量，称为误差修正法，即式中，为迭代次数为修正量，与误差有关。单个神经元的学习算法单个神经元的学习方法依变换函数不同而异。线性单元的算法离散型单元的误差修正法连续型单元的算法多层前向网络的学习算法误差反向传播算法算法中假设了输出误差作反向传递，所以称为反向传播法或称算法。算法是按均方误差的梯度下降方向收敛的，但这个代价函数并不是二次的，而是更高次的。也就是说，构成的连接空间不是只有个极小点的抛物面，而是存在许多局部极小点的超曲面。算法收敛速度较慢，但对些应用而言，则希望有较快的收敛速度，也有些加速方法。比如集中权值调整。自适应调整学习常数。权值调整量附加“惯性”项。随机学习算法算法由于采用直接梯度下降，往往落入代价函数的局部极小点。随机算法则是用于寻找全局最小点......”。

9、“.....下面讨论称为模拟退火的随机学习算法。模拟退火学习算法有四个步骤产生新状态计算新状态的能量函数判断是否接受新状态降低温度前向网络可以用具体自组织特性的无导师学习算法训练权值，然而，将前向网络与反馈网络组合在起进行无导师训练时，显示出了更强的自组织处理能力。反馈网络及其能量函数•反馈网络与线性网络样存在着稳定性问题，本节先介绍动态系统稳定性的基本概念和分析方法，然后讨论离散和连续型单层反馈网络的动态特性和网络权值设计复合型反馈网络等问题，主要讨论网络。•非线性动态系统的稳定性•在期望输出的模式设计成网络的稳定平衡态，存储在权值中，这两个吸引子都是孤立的点，称为不动吸引子。有些吸引子是同期循环的状态序列，称为极限环，犹如数字循环计数器的稳定循环状态。另外还有些更复杂的吸引子结构。向个吸引子演化的所有初始状态称为这个吸引子的收敛域......”。