1、“.....可以对其增加个量若相反，则产生了过调，应减小学习速率的值。具体调整公式为弹性算法般网络的隐含层激活函数采用型函数，型函数将神经元的输入范围从∞，∞映射到当输入变量很大时，型函数的斜率将接近。这可能会导致产生在利用型函数训练网络中梯度下降的问题，由于即使梯度有很小的变化，也会引起权值的变化，使权值远离最优值。弹性算法的原理就是打算消除对偏导数的大小有害的影响权步，因此，惟有导数的符号被认为表示权更新的方向，而导数的大小对权值更新没有影响。权值改变量的大小仅由专门的更新值来确定优化方法其权值的调整方法为其中，为误差对权值微分的矩阵，为误差向量。为个标量，依赖于的幅值。该方法光滑地在两种极端情况之间变化继牛顿法当时和最陡下降法当时，的收敛速度较快。此外改进方法还有正则化方法累积误差校正训练集重组。在此暂不加以详述......”。

2、“.....加深对神经网络思想的领悟和理解。合从其他多个神经元送来的信号，如果组合和信号足够强，则神经细胞处于激活状态，产生个输出信号，反之则处于抑制状态。该输出信号通过轴突和突触的许多分支传递到周围细胞的输入端树突，到达周围神经细胞输入端的信号强度取决于突触的强度。人脑就是通过改变突触的强度不断学习的，所以突触是基本的记忆体。正如神经细胞是大脑的基本组成单位，人工神经元是神经网络的最基本的处理单元。模拟神经细胞的构成，神经元是个多输入单输出的非线性器件，每个神经元组合来自其它许多神经元的信号，按其传递函数也称节点函数产生个输出信号，这个输出信号通过连接权值的作用后作为其他神经元的输入信号。就是大量神经元按不同层次和方式连接而成的网络。神经网络的基本特性神经网络具有以下特性并行分布处理神经网络具有高度的并行结构和并行实现能力......”。

3、“.....这特别适用于实时控制和动态控制。神经网络的全部能力来自于网络中的连接权。当个神经网络学习了条信息之后，这条信息不是象传统计算机所做的那样，被存放在处地方，而是被分散开来，存储在这个神经网络的每条连接权上。连接权既是神经网络的运算器的组成部分，又是它的信息存储器。连接权的数目越多，该网络的计算能力和存储能力也就越强。信息的分布存储至少带来以下好处容错性和较强的抗干扰性，而信息的分布式存储为神经网络的大规模并行处理能力提供了强有力的支持。非线性映射神经网络具有固有的非线性特性，这源于其近似任意非线性变换能力。这特性给非线性控制问题带来新的希望，通过训练进行学习神经网络就通过研究系统过去的数据进行训练的。个通过适当训练的神经网络具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题......”。

4、“.....形成种动态的进化机制，从而不断地积累和修改知识，及时修正问题求解策略。这使得神经网络特别适合于处理类知识，尤其是不精确的知识。神经网络可以从数据中自动地获取知识，逐步把新知识结合到其网络结构所表现的映射函数中去，并执行逻辑的假设检验。因而任何种神经网络模型均能表现出定的智能。非符号性和连续性传统的人工智能研究方法基本上是属于符号处理的范畴，而计算机则是实行符号处理的机器之。因此，用二进制的计算机来实现人工智能问题，本质上就是离散符号的数字处理原则。而神经网络的研究者们已逐步认识到把大脑仅仅看作是符号处理的机器显然是不合适的。认知科学认为大脑的思考方式般应含有论理的思考和直观的思考两种方式。前者把信息概念化，并用符号或语言来表示，接着以论理为主体，在符号操作的基础上进行推理，这种方式的思考是在人的意识或经验支配下实行的......”。

5、“.....而后种思考方式则是人们把各种事件作为信息置于脑中，常常在无意识中综合全部信息，并由此突然得出个好主意或问题的解决办法，这种形式的思考方式归根结底是通过神经元之间同时并行地相互作用的动态过程而实现的。大脑的思考应当是这两种形式的思考方式的结合。因而在神经网络中，特别强调信息表征的非符号性信息的连续性及其模拟运算。神经网络在负荷预测中的应用负荷预测是神经网络在电力系统应用中最合适的个领域，也是到目前为止研究得较多的个课题，其预测结果可能比其它方法更准确，具有实用的前景，也取得了接近实用的研究成果。主要应用在短期负荷预测，虽然也有用于中长期的研究，但应用于短期负荷预测要比应用于中长期负荷预测更为适宜，因为短期负荷变化可以认为是个平稳的随机过程，而长期负荷预测与国家或地区的政治经济政策密切相关，不是个平稳的过程。现有的方法般采用多层感知器网络，常为三层结构。在短期负荷预测方面......”。

6、“.....并采用算法进行网络训练。因为此结构的神经网络具有很好的函数逼近能力。已有的用神经网络预测负荷的方式很多，用不同的特征量预测不同的负荷，将各种有关的数据作为输入，通过历史样本的训练收敛后便可进行预测。具体文献报道的方式很多，如利用当天的三个温度参数最高最低和平均温度预测当天的总负荷或峰值负荷。近年来的研究又有许多发展，对模型的处理更加详细，精度也更高，如将负荷模式取四个星期为个预报周期，按每星期的工作日和周末进行分类，分别取相似的日期进行训练，最后次预报小时的负荷值。还可动态的利用前面的负荷逐次预报后面的小时负荷。另外，很多研究对我国目前的长假五十春节等旅游黄金周特定日期提出假日模型。由于神经网络具有很好的函数逼近能力，而不必预先知道输入变量和预测值之间的数学模型，通过对训练样本的学习，能很好地反映出对象的输入与输出之间的复杂的非线性关系......”。

7、“.....在的输入数据中，温度等天气因素对负荷影响较大，这些数据般利用预测日的天气预报，然而般来说预测地区的地理范围比较大，预测区域内各地的数据也不同，如何选择这些输入数据，选择何处的数据作为输入也是个难点。在负荷预测中的研究虽多，但在实际实施时还有很多问题需要解决。目前各种关于神经网络进行负荷预测模型，对输入元素的选择和处理，以及隐含层节点数的确定各不相同。当前神经网络的应用主要是通过实验确定为主，输入变量选择也是以经验判断为主。这些元素以及算法本身的局限性极大地限制了神经网络方法在负荷预测中的实际应用。反向传播算法是神经网络研究中的重大进展，但基本的算法应用在短期负荷预报时速度太慢，无法满足实际应用。另外，由于多层神经网络的性能曲面可能有多个局部极小点，难以保证算法收敛于全局极小点。所以，在负荷预报研究中，针对算法有许多改进算法。对基本算法的改进......”。

8、“.....主要包括使用动量可变的学习速度和改变比例变量等方法另类研究集中在标准数值优化技术，如将共扼梯度法和算法等应用于训练算法。在神经网络的优化方面现在也提出许多新方法，如用遗传算法优化网络采用级联神经网络小波模型优化结构等。文献提出用灰色理论预测方式，对历史数据作不同的取舍并经累加生成后建立定理给定任意ε和任意函数ƒ，存在个三层网络，它可在任意ε平方误差精度内逼近ƒ第个定理保证任连续函数可由个三层前向神经网络来实现。但它没有提供任何构造这样个网络的可行方法。而第二个定理证明，在网络中它可在任意希望的精度上实现任意的连续函数。第二个定理还告诉我们，只要用三层网络就可实现函数，但实际上，有时还是有必要使用更多层的网络，因为用网络实现函数往往需要大量隐层节点，而使用多层网络可以减少隐层节点数，但如何选取网络的隐层数和节点数......”。

9、“.....通常是凭学习样本和测试样本的误差交叉评价的试错法选取。本文中只是讨论了应用最为广泛的三层神经网络结构。前向网络基本算法的学习步骤及流程图神经网络的学习采用误差反向传播算法，在计算具有隐层的前馈多层神经网络的训练误差时，是先从输出层开始，逐层向后进行。这就是误差反向传播算法名称的由来。它是种有导师的学习算法，其整个学习过程分为个部分是输入模式，从输入层经隐含层传向输出层的模式顺传播过程二是网络的希望输出与实际输出之差的误差信号，由输出层经隐含层向输入层逐层修正连接权的误差逆传播过程三是由模式顺传播和误差逆传播的反复交替进行的网络记忆训练过程四是网络趋向收敛即网络的全局误差趋向极小值的学习收敛过程。依据上述思路，算法学习过程的步骤可以归结为以下几点用,之间的随机数初始化连接权及阈值。选取模式对，提供给网络......”。