自然远远高于公司其他雇员的工资，成为个异常点。许多数据挖掘算法试图减少异常点的对挖掘结果的影响，或者在挖掘过程中排除异常点。然而异常点可能隐藏着重要的信息，也许比般的数据更有价值。因此人们开始逐渐研究异常点挖掘算法。目前异常点检测已经开始用于信用卡欺诈网络入侵检测以及金融申请和交易欺诈等领域，近年来异常点检测已成为数据挖掘研究中的个热点问题。传统数据挖掘主要有以下几类基于统计的方法，基于距离的方法，基于偏移方法，基于聚类方法，基于密度方法。本文从特征与异常检测的关系出发进行研究。神经网络适用于储存和描述这种复杂的关系。但是异常检测过程，通常数据的位数较高，在高维特征存在冗余特征干扰，以及高维特征下数据不充分的问题，因此，本文研究了神经网络应用于不同情况。传统已有异常点算法介绍基于统计学的异常点检测算法早期的异常点检测算法大多数是基于统计学实现的，通常可以分为基于分布的检测算法和基于深度的检测算法两类。前者般通过先构造个标准概率分布来拟合数据集，然后根据概率分布来确定异常点，例如提出的单样本多个异常检测算法算法，和等使用混合高斯模型的异常点检测算法。此类算法估计多维分布的概率模型的难度较大，且准确性低。基于深度方法主要以计算几何为基础，通过计算不同层的凸包将外层的对象判定为异常点。但当数据集较大，此类方法在维数上的伸缩性不好。基于统计的异常点检测方法易于理解，实现方便，但此方法检测出来的异常点很可能被不同的分布模型检测出来，解释异常点意义时经常发生多义性。其次，此方法在很大程度上依赖于待挖掘的数据集是否满足种概率分布模型模型的参数异常点的数目等对基于统计的方法都有非常重要的意义，而确定这些参数通常比较困难另外，此方法大多适合于挖掘单变量的数值型数据，然而许多数据挖掘问题要求在多维空间中发现异常点，目前几乎没有多元的不致检验，当没有特定的检验时，或观察到的分布不能恰当地用任何标准的分布建模时，此类方法不能确保所有的异常点被发现。基于距离的异常点检测算法基于距离的异常点检测算法的基本思想是把数据点看作空间中的点，异常点被定义为与大多数数据距离较远的点。通常这类异常被描述为,。当且仅当数据集中至少有个数据点与点的距离大于时，数据对象点称为异常点。这类方法与基于密度的检测算法有很大的相似之处，不需要事先知道数据集的分布模型，对于任意分布模型均有效。基于距离方法最早是由和在年提出的。他们用,来表示数据集中的异常点，采用不同的参数与可以表示所有的异常点。与此定义相应的算法有三种，它们是基于索引的算法，嵌套循环，算法，基于单元或划分的算法等。基于索引的方法依赖多维索引结构等的性能。随着维数的增加，所有的索引结构的性能迅速下降，使得算法性能不佳。算法可以避免构建索引结构，减少了算法的次数。以上两方法的算法时间复杂度为，当遇到大量数据集时它们还有待改进。基于单元的方法是把数据集划分为单元，逐个单元的检测，而非逐个对象的检测。它的时间复杂度为，其中取决于单元的个数和维数。和通过试验证明，当时此算法优于算法。相对前两者，基于单元的算法无论是在数据量还是在维数增加时，性能都是最好的。此算法需要将数据空间分隔成彼此的单元结构，经过多次选择来判断离群数据。对于参数的每个变化都需要调整单元结构，因此会影响了算法的结果。后来，和提出了个新的基于距离的异常点定义，即基于距离的第最近邻异常点挖掘方法。给定维空间中包含个点的数据集参数和自然数,表示点和它的第最近邻的距离。如果满足的点不超过个，即，那么称为异常点。如果对数据对象根据它们的距离进行排序，那么前个点就被看作异常点。他们用聚类算法首先对数据集进行聚类，然后在类中发现异常点。相对于,异常点挖掘，异常点挖掘方法人为干预的因素要小些。但它也有自身缺陷，就是要计算数据集中所有点的，这显然影响到算法的效率。对低维空间的数据此方法优于索引算法和算法，但对于高维数据此算法性能不高。和在沿用和对于异常定义的基础上，提出了种基于随机抽样的检测方法，它通过随机抽样的方法，减少了寻找近邻的范围，在试验数据上获得了几乎线性的计算复杂度。随着人们对基于距离的方法的不断研究，些新的较好的算法也不断的涌现。代表性的算法有陆声链等提出个判断异常点的新定义，并设计基于抽样近似检测算法。使得算法性能有所提高另外，徐雪松等利用聚类算法与第个最近邻的原理提出了基于距离的再聚类的异常点算法，它克服些基于距离算法的缺点，并取得较好的试验结果。与基于统计的方法相比，它有以下几个优点则可找出数据集中的异常点。在理论上可以处理任意维任意类型的数据，这就克服了基于统计方法仅能检测单个属性的缺点。不必对数据集的相关信息数据服从数据组的前几个属性和数据组前几个属性样，然后最后属性存在不同，属于不同类异常和非异常，对与这种情况很难处理。时间限制未作深入研究。总结与展望综上分析所述，具备定特征分类能力，但是要通过这种分类能力去做异常点检测需要考虑很多因素，并且需要做很多辅助工作。特别是对于不同类数据而且特征较少数据，难以分离区别。假设应用神经网络做异常点检测，实际应用则采用充当分类器，并且根据特征采用多分类器结构，解决数据多特征问题。同时对于那些不同类而且是数据特征相似性较大比如很多属性处在相同空间范围，局部属性不同则需要采用更多神经网络训练这些特征，以便分离，或者采用专家系统方式，对这些具备相似性较高而又不同类进行量化可控地判断。同时对于超出已知范畴特性地数据，进行保存处理，训练出新的神经网络，同时通过人工专家系统进行更新。这样保证在可控范围能得到更高准确性。同样如果能够有好地方案，能够明显获得已知数据特征，并且能够很好分离相近特征属性的方案，那将是有很好速度检测到异常数据，同时配合专家决策系统能够使结果更具实际地准确性，而不是单纯地数据异常准确性。当然这建立在已知数据集合有足够丰富特征。对于未知数据特征可以报警，通过人工干预使系统学习到新特征，或者自动控制地方法学习。总地来说，使用神经网络分类，对于相似性比较高，差异集中在局部特征的数据，可以使用特征映射相关技术遗传算法启发式搜索特征随机选取等得到这些特征差异。对于正常数据多特征地问题，特别是正常数据有多类数据的，可以采用多神经网络融合，即多神经网络记录多特征。参考文献,王元明，熊伟异常数据的检测方法重庆工业学院学报自然科学第卷杨永铭，王喆孤立点算法研究计算机与数字工程期，机器学习北京机械工业出版社，数据挖掘概念与技术北京机械工业出版社，马少平，朱小燕人工智能北京清华出版社，彭清娥，曹叔尤，刘兴年，黄尔，李昌志算法中固定学习率的性能分析成都四川大学高速水力学国家重点实验室李炎，李皓异常检测算法分析计算机工程,鄢团军,刘勇孤立点检测算法与应用三峡大学学报自然科学版刘合兵,尚俊平基于距离和密度的聚类和孤立检测算法河南师范大学学报自然科学版张宁离群点检测算法研究桂林电子科技大学学报致谢本论文是在我的指导老师王丽娟老师的亲切关怀和悉心指导下完成的。她严肃的科学态度，严谨的治学精神，精益求精的工作作风，深深地感染和激励这我。从题目的选择到最终完成，王丽娟老师适中基于我细心的指导和不懈的支持。比如题目开题研究前期，老师帮忙找了很多资料，并及时和我沟通，因为前期在外实习，有时候老师还会打电话询问具体进度，并及时对出现问题进行引导。后期实验出现了问题，在老师指导下才知道如何论证本算法地可行性，并支持了我设计上地些问题。这些都给我很大地帮助。也是步步支持我能够圆满结题地推动力。在此，感谢老师地辛勤付出,愿切顺利平安,计算机学院毕业论文本科毕业设计论文神经网络的异常点检测应用可行性研究学院计算机学院专业软件工程年级班别级班学号学生姓名蔡东赟指导教师王丽娟年月摘要异常点数据是指数据集中与众不同数据。这部分数据的量小，但是对于我们的日常生产生活的影响极大。因此，异常点检测被广泛应用于网络入侵检测，金融保险，天气预报以及新药研制等领域。相对于大量的正常数据挖掘而言，异常点检测被称作小模式数据挖掘。算法是种常用的数据挖掘算法。但是算法进行实际数据的异常点数据挖掘过程中存在实际数据的维数较高，存在冗余特征的干扰，以及在高维特征下，数据量不充分的问题。因此，本文分析神经网络处理各种数据的情况，并得到以下结果。神经网络能够较好的分离特征单的仿真数据但是特征相似性较大的数据集，难以分离判断正常数据不充分或者不具有代表性，因此正常数据类学习不充分，从而导致异常无法判断。针对以上问题，本文提出了以下的改进措施算法前进行特征约简映射从中选取有益于异常检测的特征多神经网络融合，不同神经网络识别不同的特征，相互取长补短，融合后得到最终的结果。关键字异常异常点检测，神经网络注本设计论文题目来源于教师的国家级或部级省级厅级市级校级企业科研项目，项目编号为。目录引言背景传统已有异常点算法介绍基于统计学的异常点检测算法基于距离的异常点检测算法基于密度的算法基于偏差的异常点检测基于聚类的异常点检测算法基于属性特征在异常点检测中的研究神经网络介绍模型简介计算各层节点输出修正权值异常检测中神经网络的设计可微阈值单元单个网络结构设计神经网络学习过程的基本步骤实验研究研究使用的数据库介绍训练方案实验把神经网络相似性代替距离算法相似度量训练方案二实验用单个神经网络对训练数据库整体特性进行学习训练方案三实验多神经网络各种形式训练及其决策实验设计思路实验方案及步骤实验分析实验失败原因分析调参实验对实验调整隐层实验对实验二调整隐层实验对实验三调整隐层实验数据仿真实验实验思路实验步骤实验结果结果分析实验整体分析总结与展望致谢引言背景异常点离群点或者孤立点检测是数据挖掘中个重要方面