质区体感状态与误差映射下顶叶皮层关节运动速度与位置映射集运动皮层小脑小脑皮层模型的基本元件延时元件增益元件滑动增益元件突触权值元件逆向映射元件零空间投影元件模型的数学定义过程语音听觉映射的数学定义听觉状态及误差映射的数学定义感觉状态及误差映射的数学定义前馈控制子系统的数学定义反馈控制子系统的数学定义关节运动速度与位置映射集的数学定义本章小结第三章引入常延时机制改进模型常延时机制介绍基于模型的常延时机制模型稳定性仿真实验设计实验模型选取实验参数设置仿真实验结果运动命令模式前馈命令模式反馈命令模式本章小结第四章引入带声调中文音素单元集的模型万方数据构建适用于模型的中文音素单元集模型中的英文音素模型选取适用于模型的中文音素单元集主元音声调在模型中的表示本章小结第五章基于改进的模型的中英文语音音素脑机制研究相关工具及仿真方案仿真方案仿真结果英文语音任务结果中文语音任务结果中英文语音任务脑机制的临床研究现状英文语音任务脑机制的临床研究中文语音任务脑机制的临床研究仿真结果分析第六章总结与展望总结展望参考文献附录设定的脑区坐标附录攻读硕士学位期间撰写的论文附录攻读硕士学位期间参加的科研项目致谢万方数据南京邮电大学硕士研究生学位论文第章绪论第章绪论课题研究背景及意义语音过程是个很复杂的生理过程，涉及较多的神经及器官之间的交互，每个语音任务均需要多个脑区参与，因此，对于研究者来说，语音生理研究中存在诸多难点。而且说话在声学的属性上样目繁多，包括不同的声长音调强度，每种属性的变化都会对说出的声音产生影响。比如英文中，即使相同字母组成的单词，由于重音的不同也会有不同的含义而中文中则有四种音调变化，同个读音的不同声调对应的生理过程也不尽相同。先前，研究人员主要以声学分析作为基础构建语音模型，而近年来，神经解剖学和神经心理学上对于语音任务的研究越来越深入，针对临床试验的数据，波士顿大学语音实验室的教授和他的团队设计出套“神经分析系统”，由，脑计算机接口和语音合成系统模型组成。通过这种“仪器”，使用者只需简单想想自己想要表达的语言内容，语音合成系统就能将这些内容直接转换成语音。模型是目前为止较为全面的具有生物物理学意义的语音生成和获取自适应神经网络模型，主要用来描述和仿真语音生成和获取过程中大脑相关区域的功能，已被用来对心理物理学观察结果作初步解释。遗憾的是，模型在创建时主要考虑的是英文的语音任务，模型以英文中的个音素作为发声基础，并没有针对中文发声提供方案，因而本文在研究了模型的工作机制后引入中文音素单元集，然后在中文音素的基础上引入声调函数机制以使得模型能够贴近真实的中文语音。获得中文发声的能力后，模型将作为中文发声的数据来源用以分析模型在产生中文发声时对应的脑机制，并和原有模型对应的英文发声脑机制做出比较。另外，模型在模拟人类发声时存在定缺陷，使得模拟结果和实际的生理过程存在定差异，本文引入了常延时机制对模型进行改进，使得模型的表现有了定的提升。语音模型概述早期语音模型早期的语音模型大部分是以声学分析为基础的语音辨识系统模型，模型抽取语音的特征万方数据南京邮电大学硕士研究生学位论文第章绪论并利用概率统计工具做数值的分析与整理，其中最常用的是隐形马尔科夫模型，广义逆矩阵时所取的正则化自由度。万方数据南京邮电大学硕士研究生学位论文第二章模型综述零空间投影元件零空间投影元件位于皮质运动模型中，对当前关节状态进行零空间映射。零空间映射被定义为在当前关节状态下，对个输入向量在零空间雅可比矩阵的前馈映射操作。用户可以对其进行如下定义种乘法的增益因素，适用于零空间投影输出在估测前馈映射输出时，对声道模型的输出部分使用，如听觉或体觉信息雅可比矩阵期望步长雅可比矩阵正则化因子。模型的数学定义过程模型模拟发生过程时大体遵循这样的步骤模型的听觉区中存在声音动作的目标空间，在听到个语音时，会从大脑听觉区里的目标区做比对分析，进而辨别此声音，产生声音时也样，会从运动前区找到相应的发声参数，通过神经元传送到运动区，并由此发出声道运动的命令。而学习讲话的过程也基本类似于上述过程，模型在修改动作目标时，将目前的声道状态通过感觉区传送到运动前区进行比较，再将误差值经过加权处理后与原目标合并完成修改。因此，相对应于上述步骤，模型分别对语音听觉映射听觉状态及误差映射感觉状态及误差映射前馈控制子系统反馈控制子系统以及关节运动速度与位置映射集进行了数学定义。语音听觉映射的数学定义语音听觉映射区主要功能是前段时间接收到的包括听觉视觉体觉在内的刺激，在此映射区中，每个语音音素都被表示成个神经元，当产生相关的发声动作或者听到声音时，这类神经元将被激活。在学习过程中，未知语音目标会转化成新神经元，通过前馈系统进行发声，而在反馈系统中将会以此和已学习的语音进行比较与修正，最后将修正后的神经元存入语音目标中，以后产生相应的发声动作或是听到这个语音时，代表这个语音的神经元就会被激活。因此，语音听觉映射的数学定义可表示为万方数据南京邮电大学硕士研究生学位论文第二章模型综述，第个神经元有发声动作，其他听觉状态及误差映射的数学定义模型中的听觉信号可以表示为其中，表示声道状态转换为声音信号的函数。由于模型无法直接从外界获取声音信号，因此模型在学习过程中会将声道状态信息转换为三维的听觉信号，听觉信号中包含共振峰的频率及幅度。这个过程可以表示为−其中表示听觉信号由接收器进入听觉映射的延时。在发声过程中，代表听觉信号的神经元会被激活。在进行语音比较时，当检测到有误差时，代表语音误差信号的神经元∆将会被激活，其过程可表示为∆−−其中表示信号由到达听觉映射的延时，则表示个将目标空间转换为听觉映射目标空间的权值矩阵。感觉状态及误差映射的数学定义由于感觉映射的构造原理和工作流程和听觉映射基本相同，所以可以将感觉映射的目标信号定义为−其中，表示将发声信息转换为感觉信号的函数，则表示刺激信号传输至感觉映射的延时。代表误差信号的神经元可以表示为万方数据南京邮电大学硕士研究生学位论文第二章模型综述∆−−其中，表示信号从传输至感觉映射的延时，表示个将关节运动速度与位置映射集目标空间转换为感觉映射目标空间的权值矩阵。前馈控制子系统的数学定义前馈控制子系统不能增加模型控制的稳定性，但可以极大地增加流畅性，它的优点在于模型不需要每次都要接收到回馈控制子系统的信号后再输出语音，可以直接产生发声动作，使得讲话动作更加流畅。已经有研究表明，当前馈控制子系统受损时，模型较容易出现发声中断结巴等症状。目前，前馈控制子系统被定义为−其中，表示个将目标空间转换为关节运动速度与位置映射集目标空间的权值矩阵。反馈控制子系统的数学定义反馈控制子系统在学习过程中扮演非常重要的角色，它关联着听觉映射感觉映射以及关节运动速度与位置映射集。系统分别从听觉映射取得当前的声音信号从感觉映射取得当前的声道状态，再将这两个信号合并后与从取得的信号进行比较，然后将误差值输入关节运动速度与位置映射集，以修正关节运动速度与位置映射集的命令信号，同时也将差值返回给。反馈控制子系统的定义如下，即将听觉误差和感觉误差分别加权后相加∆−∆−其中表示将听觉映射目标空间转换为关节运动速度与位置映射集目标空间的权值矩阵，表示将感觉映射目标空间转换为关节运动速度与位置映射集目标空间的权值矩阵，表示信号从听觉映射传输至关节运动速度与位置映射集的延时，表示信号从感觉映射传输至关节运动速度与位置映射集的延时。万方数据南京邮电大学硕士研究生学位论文第二章模型综述关节运动速度与位置映射集的数学定义关节运动速度与位置映射集将来自来自前馈控制子系统反馈控制子系统以及的信号分别加权后加总合并，进而产生运动信息使声道活动发声。我们假设神经元在时刻激活，则该神经元可表示为∫∫其中，表示声道初始状态，表示前馈信号权值，表示反馈信号权值，表示说话速率，取值范围为，。另外，关节运动速度与位置映射集还对声道模型做出了定义，代表声道状态的神经元可以表示为−其中，表示将发声运动信号转换为声道状态的函数，表示发声运动命令传输至声道的延时，表示外界噪声干扰。本章小结模型运用伪逆控制方案，对人类的语音相关活动提供了十分精确的阐释。相对应于人类发音器官的运动与相关脑区，模型分别定义了语音听觉映射听觉状态及误差状态映射体感状态与误差映射关节运动速度与位置映射集以及小脑五大模块，并加入了前馈控制子系统及反馈控制子系统，对于发声活动和语音学习可进行符合生理学意义的模拟。本章也利用数学模型的方式探讨了模型的工作流程。万方数据南京邮电大学硕士研究生学位论文第三章引入常延时机制改进模型第三章引入常延时机制改进模型模型在模拟发声活动的过程时，所取得的结果和实际生理发声结果有差异，这些差异主要表现在声道运动和实际生理声道运动的不同，对此，本文希望能对模型做出定修改，使其能够得到更好的表现。研究发现，在模型的整个工作流程中，延时机制有着非常重要的地位，每个模块的定义与运作都会有延时机制的参与。因而，我们向模型中引入常延时机制代替原有延时机制，并获得了更具有生理学意义的模拟效果。常延时机制介绍在年，和两位学者在延时细胞神经网络中应用了常延时机制。自此，越来越多的学者研究了带有常延时机制的细胞神经网络，对于此类模型，般都会采用方法并结合定的不等式分析的方法来获得较为理想的效果，也有学者利用不动点原理对此类模型进行研究，获得的效果也不错。基于模型的常延时机制本节将先讨论引入常延时机制后模型是否能够到达稳定，并以此为依据探索引入常延时机制后系统的具体表现。模型稳定性稳定性不仅是最优化方法和联想记忆的理论基础，也是神经网络模型中必不可少的因素之，可以说如果缺乏稳定性就不可能构建个合格的模型。在机器学习领域，许多涉及收敛性的问题都需要稳定性和吸引性证明作为依据。稳定性的概念源自力学，表示个系统能够在各种干扰下稳定保持预定工作状态的种机制。由此可知，个控制系统个金融系统个社会系统甚至个生态系统，稳定性都有着非常重要的意义，因为每个系统总是会不可避免地遭受各种干扰，而每个系统都需要在承受干扰之后保持工作状态。般而言，个神经网络系统可以定义为个关于时间的函数，对于给定的输