处理架构四层数据流处理架构分析相关概念定义四层数据流处理架构设计处理架构的比较数据流处理模型本章小结第四章基于的数据流处理算法基于的数据流处理算法概述基于的积极读过滤算法简介算法描述相关读处理算法介绍相关读写器判定方法相关读修复公式推导算法描述基于的去冗余算法本章小结第五章基于的资产管理系统基于资产管理系统架构分析信息解析模块分析信息解析流程统数据库接口应用系统分析与设计万方数据系统实现与演示系统开发环境读写器读取功能演示应用系统功能演示本章小结第六章总结与展望论文总结未来工作展望参考文献附录攻读硕士学位期间申请的专利附录攻读硕士学位期间参加的科研项目致谢万方数据南京邮电大学专业学位硕士研究生学位论文专用术语注释表专用术语注释表缩略词说明无线射频识别技术产品电子代码应用层事件标准可扩展数据流处理自适应窗口四层数据流处理架构基于的积极读过滤算法基于的去冗余算法应用程序编程接口万方数据南京邮电大学专业学位硕士研究生学位论文第章绪论第章绪论研究背景近年来，新代信息技术物联网迅速发展，给人们生产生活带来很大便利。无线射频识别技术，作为物联网的基础技术，成为研究的热点之。是种采用自动识别技术和目标机制的非接触式内部通信技术，通过无线电波识别目标读取大量数据以及控制特定物体。技术第次出现在，直至年代，该技术直处于实验室研究阶段应用级程序出现于年代，但并没有被广泛使用在商业应用的影响下，产品和应用程序在多个功能相同的物理读写器按照定的映射关系映射成的代表类逻辑功能的抽象读写器。图逻辑读写器示意图按照逻辑读写器的概念，可将和映射成逻辑读写器。逻辑读写器有迭代的性质，即根据逻辑功能的划分不同，可将多个逻辑读写器映射成另种逻辑功能的逻辑读写器，以扩大逻辑功能，更好的供应用系统使用。如图所示，在区域中有多个货架，每个货架均部署两个读写器，当我们仅仅关心每个货架上货物的实时状态时，可以根据逻辑功能要求，以货架为单位，将货架上的物理读写器分别映射成逻辑读写器而当我们想观察区域内货物的状态时，逻辑读写器之间的差异则可以忽略，因此，可以根据具体的逻辑功能要求，以区域为单位将这四逻辑读写器映射成区域逻辑读写器，以便观测和数据处理。由此可见，映射关系决定逻辑读写器的组成。万方数据南京邮电大学专业学位硕士研究生学位论文第三章动态标签四层处理架构图逻辑读写器迭代性质示意图在移动标签应用系统中，物品从个逻辑读写器覆盖区域运动到另个逻辑读写器覆盖区域，由于电磁辐射的原因，两个逻辑读写器在个空间范围内可能存在读取区域的重叠，这样的两个逻辑读写器的读取信息彼此影响，具有相关性。两个逻辑读写器读取到的信息所代表的含义是不同的，必须明确区分标签在具体时间是由哪个逻辑读写器读取的，也就是要明确标签在每个时刻的具体位置信息和状态信息，在数据处理过程中需要对工作区域重叠的逻辑读写器读取标签数据流做进步详细处理，因此，提出相关读写器的概念。定义相关读写器工作区域有重叠的两个逻辑读写器。相关读写器是为去除冗余读写器而提出的，它由两个逻辑读写器组成，由软件实现。台主机可同时执行多个相关读写器软件程序。四层数据流处理架构设计上节中，根据应用系统中读写器的部署特点，给出了物理读写器逻辑读写器和相关读写器的概念以及特点。本节结合数据流的特性，详细介绍我们所提出的四万方数据南京邮电大学专业学位硕士研究生学位论文第三章动态标签四层处理架构层数据流处理架构，。该架构从上到下分为四个层次，依次为物理读写器层逻辑读写器层相关读写器层和汇聚层。物理读写器层根据应用的需求在同区域实际摆放的多个读写器设备，完成对电子标签原始数据流信息采集的功能。物理读写器的漏读率高达，因此，经常在同区域部署多台物理读写器以减少工作区域电子标签的漏读率，即通过部署多台物理读写器以减少消极读发生的概率。逻辑读写器层由多个逻辑读写器组成，由于电磁辐射等原因，数据流中含有大量积极读脏数据。该层主要借助积极读过滤算法针对每台逻辑读写器消除数据流中积极读，为上层数据提供相对干净仅仅含有冗余读脏数据的数据流。逻辑读写器由软件实现，每台逻辑读写器单独处理自己的数据，当应用系统需要扩大范围时，只需相应的增加逻辑读写器处理程序，扩展性强。相关读写器层系统中所有相关读写器组成该层。该层存在种特例如果个逻辑读写器跟应用系统中所有其他逻辑读写器都不存在相关性，为了保持整个架构的致性，将该逻辑读写器本身映射成种特殊的相关读写器，该相关读写器没有实际处理功能，仅仅是为了架构的致性。该层主要根据我们提出的相关读写器判定方法和相关读修复公式来消除读写器冗余，同时根据去冗余算法去除数据流中的数据冗余，为上层提供干净有用的数据流。每台相关读写器单独处理自己的数据流，方便扩展。汇聚层接收各数据处理中心发送来的干净数据，负责有效数据的高效存储和统管理，是个数据汇集中心。与此同时，该层还可以根据不同应用的具体需求完成数据解析数据分析数据挖掘等功能，为应用系统功能函数提供数据源。各层相互独立，功能明确，各中间层接收下层处理后的数据流并为上层提供数据源，分层次实现对数据流中消极读积极读和冗余读脏数据的处理，为应用系统设备的部署以及数据流处理提供依据。图为的结构框图。万方数据南京邮电大学专业学位硕士研究生学位论文第三章动态标签四层处理架构读写器读写器读写器读写器读写器读写器读写器读写器逻辑映射规则逻辑读写器逻辑读写器逻辑读写器逻辑读写器相关读写器相关读写器数据库数据汇聚中心物理读写器层逻辑读写器层相关读写器层汇聚层相关读写器图结构框图的结构框图中，读写器是为覆盖区域而部署的多个物理读写器，这些物理读写器的功能相同，均是监控处于该区域内的标签状态信息，当我们仅仅关心该区域内标签信息时，可根据功能定义映射关系，将读写器集合映射成逻辑读写器，即同理，物理读写器和逻辑读写器之间的映射关系为物理读写器和逻辑读写器之间的映射关系为物理读写器和逻辑读写器之间的映射关系为的结构框图中列出四个逻辑读写器，分别为，其中和万方数据南京邮电大学专业学位硕士研究生学位论文第三章动态标签四层处理架构和具有相关性，构成相关读写器和，而逻辑读写器则和其他任何个逻辑读写器都不相关，为保持架构的致性，在结构框图中用表示，这是架构中特殊的相关读写器，表示组成此相关读写器的逻辑读写器和其他任何逻辑读写器均不相关。相关读写器是由个或两个逻辑读写器组成，个逻辑读写器可以是多个相关读写器的组成部分，仅由个逻辑读写器组成的相关读写器具有特殊性，它仅仅是为满足架构的致性而定义的特殊相关读写器，对数据处理没有实际意义。三个相关读写器向上层汇聚层传送信息，汇聚层是个信息汇集中心，具有信息存储和分析的功能。四层数据流处理架构分层次实现对原始数据流中消极读积极读冗余读的处理，层次分明功能明确设备部署和数据处理简单，对数据处理器的数据处理能力要求低。数据处理针对不同读写器单独实现，不需要集中存储大量数据，方便实际应用中读写器的添加和消除，可扩展性强。该架构为通用架构，适用于所有应用系统中读写器和标签硬件设备的部署以及原始数据流的处理。处理架构的比较数据流处理架构的目的是实现原始数据流中脏数据的处理以及存储，为上层应用系统提供干净有效的数据源。根据目前业界的使用情况，典型的处理架构有基于网络的数据流处理架构和在线可扩展五层管道处理架构，。基于网络的数据流处理系统结构中，标签存储器仅存放号，工作方式采用被动式，以最大程度节约标签成本。网络体系架构的数据管理分为五个基本部分采集过滤聚合转发和引用。由个基于查询的可编程管道组成，支持动态数据处理。使用原始数据的时间和空间信息同时处理多个数据，产生更能准确反映物理世界的数据流。使用基于时间的滑动窗口在定的颗粒范围内聚合比较，以发现异常值。平台将数据流处理分成个不同阶段，每个阶段都可以使用声明式编程连续查询。表列举了基于网络的数据流处理架构和的特点对比。万方数据单位代码密级专业学位硕士论文论文题目基于的数据流技术的研究与实现张凤杰胡海峰副教授工程硕士申请全日制申请电子与通信工程二零四年三月学号姓名导师专业学位类别类型专业领域论文提交日期万方数据万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档允许论文被查阅和借阅可以将学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编本学位论文。本文电子文档的内容和纸质论文的内容相致。论文的公布包括刊登授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名日期研究生签名导师签名日期万方数据摘要具有无需接触远距离识别快速读写大量数据的优点，已广泛应用在制造交通物流资产管理等各个领域。然而，数据流中含有大量的消极读积极读和冗余读不可靠数据，严重降低了系统的性能和效率，制约技术的进步发展。本文根据数据流的特点提出种数据流四层处理架构，将三种不可靠数据的处理分为四个层次物理读写器层通过在监测区域部署多个读写器，提高读写器的读取率以减少消极读逻辑读写器层根据逻辑映射关系将逻辑功能相同的多个物理读写器映射成逻辑读写器，利用积极读过滤算法消除数据流中的积极读相关读写器层根据相关读写修复公式和去冗余算法去除数据流中的冗余数据处理后的干净数据存储在汇聚层，供上层应用系统使用。不仅解决传统窗口过滤方法中标签个数重复统计和输入输出数据流时序不致的问题，而且采用积极读判断和积极读验证双重机制减少有效标签误判情况，提高算法可靠性引入同过程的概念，按统数据格式表示标签的事件信息和过程信息，简洁准确的描述标签的移动情况。最后，本文将应用在资产管