提取时间差分法背景减除法光流法本章小结第三章运动背景中的时空兴趣点检测光流场计算光流法金字塔光流法块匹配光流法兴趣区域提取运动检测轮廓提取本章小结第四章兴趣点特征描述局部特征描述子描述子描述子描述子描述子兴趣点光流轨迹本章小结第五章基于词袋模型的行为建模词袋模型词典构建均值聚类最大互信息聚类支持向量机分类器实验分析常用数据库介绍实验分析本章小结万方数据第六章总结与展望工作总结未来展望参考文献附录攻读硕士学位期间撰写的论文致谢万方数据南京邮电大学硕士研究生学位论文第章绪论第章绪论视觉是人类获取信息的主要途径，人类通过感观获取的认知信息中约有来自视觉。随着科技的进步，人们希望机器也能获得看和理解的能力，即通过摄像机和计算机获取相关视觉信息，并建立具有环境感知能力的人工智能系统，这构成了计算机视觉的主要研究内容。人体行为识别是计算机视觉领域中的重要研究课题，它通过对视频数据的处理和分析，使计算机能够自动理解场景中目标的行为并用自然语音描述出来，是沟通底层数据和高层语义理解的桥梁。研究背景与意义计算机和互联网深刻影响着我们的生活。随着摄像机手机和其他具有摄像功能的终端设备的普及，网络上的视频和图像数据呈爆炸式的增长。据报道，年用户每分钟上传到的视频时长达到小时，相比年前的小时增长了，相比五年前的小时增长了倍。另方面，视频监控系统也在我们的城市交通公共安全工业生产中发挥着越来越重要的作用。年，我国城市报警与监控系统“工程”建设完成，监控摄像头遍布大街小巷，昼夜不停的监视和录像，在改善社会治安的同时，也产生了海量的视频数据。尽管视频数据量的增长是惊人的，但是对这些视频数据的分析工作仍然有限，目前计算机视觉系统的分析处理能力远不能满足需求，例如在大型数据库中检索些特定镜头仍需要人工查找，互联网上的视频搜索也几乎全部依靠文本标注，如何让计算机自动“理解”视频的内容成为项紧迫的任务。人类活动总是视频记录的主要内容，人体行为识别受到越来越多研究者的关注。顾名思义，人体行为识别就是通过对视频数据进行整理计算和分析，从数据中提取人的动作行为和事件，进而让计算机获得视频数据的理解能力。基于视频的人体行为识别应用广泛，典型的应用有智能监控人机交互视频检索等，下面分别对它们进行简要介绍。智能监控视频监控系统应用广泛，如道路交通的行人车辆监测，重要机密部门的安全保卫，公共场所的事态监控等。传统的视频监控采用人工监视和事后查行兴趣点检测。检测器对图像强度值的周期性变化较敏感。周期运动，例如鸟拍打翅膀，会引起最强的响应值，其他运动，包括时空角点，也会引起较强的响应值。通常来说，任何具有空间域区分能力的图像块在经历复杂运动时都会引起响应值。特征点检测检测器具有尺度不变性但是提取的兴趣点过于稀疏，检测器提取的兴趣点稠密但是不具有尺度不变性，等人提出了基于矩阵的兴趣点检测方法，在提取稠密兴趣点的同时具有尺度不变性。矩阵定义为其中。尺度下，对每像素计算矩阵行列式，得到兴趣点响应函数当响应函数取得局部极值时该点被检测为兴趣点。万方数据南京邮电大学硕士研究生学位论文第二章时空兴趣点检测与运动区域提取为了获得兴趣点尺度，文献发现，使尺度归化算子取得局部极值的尺度ˆ，ˆ与兴趣点尺度有确定性的关系ˆ，ˆ于是文献同时对兴趣点进行定位和尺度选择，也就是在空间中计算矩阵行列式的极值点，将极值点处的尺度ˆ，ˆ乘以得到兴趣点尺度。通过这样直接计算，避免了像检测器那样，对尺度归化算子进行迭代运算，有效提高了计算速度。对每像素点计算矩阵行列式，计算量是很大的，文献使用了积分视频和盒滤波器近似计算矩阵中的偏导数以加速计算。积分视频是积分图像的推广，在积分视频中，点的值为原视频中点到的长方体视频块中所有像素值的和这样，由点到张成的边长为的视频块中所有像素值的和，可以方便的通过积分视频中的个点计算，即为加速计算，使用盒滤波器近似替代高斯二阶偏导，如图所示，和分别是相应于同方向和不同方向高斯二阶偏导的盒滤波器，时空域的个二阶偏导可以分别由这二个盒滤波器翻转得到。通过这种近似替代，高斯二阶偏导与视频的卷积结果，可以通过盒滤波器与积分视频迅速得到，显著提高了计算速度。图近似高斯二阶偏导的盒滤波器万方数据南京邮电大学硕士研究生学位论文第二章时空兴趣点检测与运动区域提取以上讨论了三种常用的兴趣点检测方法，它们的性质归纳如表所示。在节中，我们将会把三种检测器与不同的兴趣点描述子结合，在不同的数据库中，具体比较它们的识别效果。表三种兴趣点检测器的比较兴趣点集合计算方法尺度选择是否加速稀疏角点是迭代否稠密滤波滤波否否稠密矩阵是直接计算是积分视频盒滤波器三种检测器在运动背景下的兴趣点检测结果如图所示，图中圆的半径表示相应的兴趣点尺度。检测器没有采用自适应的尺度选择，而是直接使用固定的多尺度组合，经验系数，空间尺度时间尺度，。检测器的空间尺度，时间尺度。检测器的参数设置与文献相同。从图中可以看出，在复杂的运动背景中，大量与人体运动无关的背景中的点被检测为兴趣点，这无疑会对行为识别结果产生负面影响，为了解决这问题，第三章中将给出本文基于光流场的兴趣区域提取方法，在兴趣区域内进行兴趣点检测，可以有效抑制运动背景的影响。对比帧检测器检测器矩阵检测器图不同检测器兴趣点检测结果比较运动区域提取在复杂的运动背景中，单纯进行兴趣点检测会得到大量背景中的点，这些点并不是由人体运动产生的，不能反映人的运动特征，会对行为识别结果产生负面影响。为了抑制运动背景的影响，前景提取成为种常用的预处理方法，即首先提取前景运动区域，然后在前景区域内进行兴趣点检测。前景提取方法主要有时间差分法，背景减除法光流法等。万方数据南京邮电大学硕士研究生学位论文第二章时空兴趣点检测与运动区域提取时间差分法时间差分法是种常用的运动区域提取方法，它通过对图像序列中的相邻帧作差分运算来获得运动目标轮廓。为应对光照变化和噪声影响，需要对差分图像做阈值化处理。定义第帧和帧图像的差分图像为，阈值化处理得到二值图像为，其中为二值化处理设定的阈值。与其它前景提取方法样，二值图像通常还需要腐蚀膨胀开闭运算等形态学操作以获得前景图像。时间差分法的优点是不需要预知背景图像，计算简单，易于实现，缺点是要求背景静止，不能提取完整的目标区域，只能提取出边界，提取质量依赖于物体的运动速度，在慢速运动物体的帧间重叠区域会产生空洞，而对于高速运动物体，因为在帧间没有重叠部分，会被检测为两个物体。背景减除法背景减除法是广泛应用的运动目标检测方法，背景图像可以是预知的图像，也可以是通过背景建模获得的图像。为适应光照或场景变化，般需要实时的对背景模型进行更新，因此背景减除法的关键是背景模型的建立和更新过程。常用的背景模型有中值模型单高斯模型混合高斯模型卡尔曼滤波器模型等。混合高斯模型，是最常用的背景建模方法之，经典的混合高斯背景模型由等人提出，其基本思想是，用个通常为到个高斯分布组成的混合高斯模型表示图像中每个像素点在时域上的概率分布，在获得新的图像后用均值近似方法对模型进行更新。图像中每个像素点在时域上的分布用混合高斯模型表示后，个像素点在当前时刻的概率分布为，万方数据南京邮电大学硕士研究生学位论文第二章时空兴趣点检测与运动区域提取其中为高斯分量的个数为时刻第个高斯分量的权重和，分别为第个高斯分量的均值和协方差矩阵，是高斯概率密度函数其中为的维数，为简化计算，假设的各分量相互独立并有相同的方差，则有，。为适应环境变化，当获得新的图像后对混合高斯模型进行更新。首先将模型中的个高斯分量按照的值由大到小排序，然后将新的像素值与现有的个高斯分量进行比较直到发现匹配，匹配标准为当发现与匹配的高斯分量后，其均值和方差按如下方式更新，其余高斯分量和保持不变，个高斯分量的权重更新为，其中是学习率，若高斯分量与匹配，则，，否则为。如果所有高斯分量都不能与当前像素值匹配，则排在最后的高斯分量被新的高斯分布取代。新的高斯分布的均值为当前像素值，并有较高的初始方差和较低的初始权重。当混合高斯模型更新后，最可能由背景产生的高斯分布被保留在排序的前面，而最不可能的高斯分布逐渐滑向后面直到被新的分布取代。由此将前个高斯分布作为背景分布其中阈值表示背景高斯分布在整个模型中的比例，较小时，背景模型是单峰的，较大时，可以表示多峰分布。混合高斯模型对存在扰动的背景有很好的建模效果，例如摇晃的树叶起伏的水面，然而该方法也有些不足对每个像素点独立建模，计算量大如果学习率较小，模万方数据单位代码密级硕士学位论文论文题目基于时空兴趣点的人体行为识别方法研究王博赵君喜教授应用数学信息处理理论与应用理学硕士二零四年四月学号姓名导师学科专业研究方向申请学位类别论文提交日期万方数据万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档允许论文被查阅和借阅可以将学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编本学位论文。本文电子文档的内容和纸质论文的内容相致。论文的公布包括刊登授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名日期研究生签名导师签名日期万方数据摘要人体行为识别是计算机视觉领域最