帮帮文库

返回

核电行业实时ETL系统的设计与实现(论文原稿) 核电行业实时ETL系统的设计与实现(论文原稿)

格式:word 上传:2022-08-17 03:03:40

《核电行业实时ETL系统的设计与实现(论文原稿)》修改意见稿

1、“.....通常是在夜间,以防给源系统带来过大的工作负荷。基于数据库日志的策略利用数据库不断向数据库日志提交内容修改信息以支持事物回滚的机制,不断对数据库日志。在的中记载的也并不是原始的名称,而是它们在数据库中的编号,这就需要调用来提取数据字典信息,将编号还原为名称。摘要本文以核电企业的数据仓库需求为切入点,为了满足决策支持类应用对数据及时性的要求,提出了种具有数据缓存机制的实时数据仓库架构,该架构能够均衡系统开销,在突发大数据核电行业实时系统的设计与实现论文原稿程序使用。数据库归档日志是针对数据库事务操作所做的记录,它可以记录己经提交的数据操作事务的任何信息。数据库系统可运行在非归档日志模式或归档日志模式。非归档模式下,重做日志以循环的方式使用......”

2、“.....归档日志模式下,重做日志写满后,系统自动备份,并在控制文件中将日志文件的日志序列号归档,此模式下归档式下运行。读取,使能够从指定的时间点抽取数据,这些时间点由分隔。捕获注册是用户创建的变更捕获注册信息,定义了用户需要实时监测的数据。作业读取捕获注册,获取需要监测的表和列信息,然后连接,确定应该返回哪些变更记录。,各种类型的索引,用来加快查询处理的速度,物化视图,包含最终提交给用户的汇总信息。物化视图允许抽取各类计算过次的汇总信息,加以存储,以便进行检索查询和定期更新,并反映个或多个事实表的当前状态。数据库虽然提供了相应的日志解析接口,但要实现数据的实时捕获还需要与该接口实现交互以获得信息......”

3、“.....旦源发送数据,数据处理区域中的工作流会接收它,这些工作流清洗数据并按数据仓库的格式转换数据。数据处理区域还可以有多种职能兼顾职能,减轻源的负荷也可承担数据仓库数据流监控器的职能可以执行诸如检查点准备汇总和管理等任务。传入数据也可以暂存到适当的暂存模块,以使。只能进行轻量级的数据整合。通常的处理方式是建立数据准备区,采用工具在源数据库和数据准备区的数据库之间相连接。捕获到变化后,使变化数据进入数据准备区,再经过其他处理后迁移入数据仓库。实时数据仓库的架构本文提出的实时数据仓库架构由以下元素组成数据源,产生数据的系统,这些数据会填充到数据仓库位于中间的数据否与过程相关,随后会向数据仓库传输。每个源都设有个源数据流监控器模块......”

4、“.....并定期或以适当的间隔将变化向数据仓库传输。核电行业实时系统的设计与实现论文原稿。实时的技术选择实时数据仓库架构中的各部件,如抽取器数据暂存,可以有不同的技术实现和部件间集询响应时间等的要求,将的數据编排并传送到数据仓库。数据仓库由不同类型的元素构成事实表,包含用户主要关注的现实中事件或事实的记录,维度表,包含解释事实不同方面信息的参考记录,各种类型的索引,用来加快查询处理的速度,物化视图,包含最终提交给用户的汇总信息。物化视图允许抽取各类计算过次的汇总信息,加以存储,以便进行检索,确定应该返回哪些变更记录。作业会保证变化数据按照其提交的顺序被依次处理,同时去除回滚的事务。作业将接收到的变化信息输出到文件......”

5、“.....旦源发送数据,数据处理区域中的工作流会接收它,这些工作流清洗数据并按数据仓库的格式转换数据。核电行业实时系统的设计与实现论文原稿处理区域,对产生的数据进行清洗和转换数据仓库。该架构如图所示。每个源可以认为是由个数据存储体和个业务数据管理系统组成。发生在源端的变化首先会被识别是否与过程相关,随后会向数据仓库传输。每个源都设有个源数据流监控器模块,负责识别相关的变化,并定期或以适当的间隔将变化向数据仓库传输。较差,而且实现起来相对复杂。微批处理方法,微批处理的方式和传统的处理方式很相似,但是处理的时间间隔要短,例如间隔个小时处理次,只针对实时性要求较高的部分源数据。微批处理方法般配合实时分区使用。该方法适用于中等数据量的数据仓库系统......”

6、“.....方法,采用直接的数据库对数据库的连接方式,可提供秒级的数已经实现了此功能。使用实现实时程序实现与数据库日志解析程序的实时交互。同时通过将数据的变化信息传递到服务器端供数据抽取工作流使用。对于源数据库,基于数据库日志分析的抽取策略的实现如图所示。其中,日志是方式,可选择的方法有企业应用集成方法,抽取器和会提供个适配器,数据仓库端也有相应的适配器,由中间件中的代理来完成数据的交互。业务数据以消息的形式由适配器创建和执行,代理根据发布订阅规则路由消息。是个推系统,不适用于批传输。对实时性要求非常高的系统,可以考虑使用。不过在数据量大时效率比询和定期更新,并反映个或多个事实表的当前状态......”

7、“.....产生数据的系统,这些数据会填充到数据仓库位于中间的数据处理区域,对产生的数据进行清洗和转换数据仓库。该架构如图所示。每个源可以认为是由个数据存储体和个业务数据管理系统组成。发生在源端的变化首先会被识别是数据处理区域还可以有多种职能兼顾职能,减轻源的负荷也可承担数据仓库数据流监控器的职能可以执行诸如检查点准备汇总和管理等任务。传入数据也可以暂存到适当的暂存模块,以使能满足所有工作流的吞吐量。旦所有转换流程结束,数据可向数据仓库中装载。根据终端用户提交查询的工作负荷,以及对数据及时度吞吐量查数据库日志分析的基础,被监测数据库须在存档模式下运行。读取,使能够从指定的时间点抽取数据,这些时间点由分隔。捕获注册是用户创建的变更捕获注册信息......”

8、“.....作业读取捕获注册,获取需要监测的表和列信息,然后连接核电行业实时系统的设计与实现论文原稿视图中访问到。在的中记载的也并不是原始的名称,而是它们在数据库中的编号,这就需要调用来提取数据字典信息,将编号还原为名称。核电行业实时系统的设计与实现论文原稿。数据库虽然提供了相应的日志解析接口,但要实现数据的实时捕获还需要与该接口实现交互以获得信息分析从而获取变化数据的信息供抽取程序使用。数据库归档日志是针对数据库事务操作所做的记录,它可以记录己经提交的数据操作事务的任何信息。数据库系统可运行在非归档日志模式或归档日志模式。非归档模式下,重做日志以循环的方式使用,当重做日志被覆盖后丢失以前的日志信息。归档日志模式下,重做日志写满后......”

9、“.....并在控制文件中将日志文量的情况下保持决策支持类应用的高服务质量。该架构已基于产品开发实现,其合理性与有效性得到了验证。关键词实时数据仓库数据缓存引言随着我国核电信息化水平的提高,核电企业已经进入到流程特征量化绩效驱动以信息技术为依托的发展阶段。数据仓库是管理信息并分析利用的最有效的方式,可为核电企业进行各级流程的志可完整的记录数据系统的事务操作信息。数据库般都会提供专用的日志解析工具。提供个名为的接口来实现对数据日志的解析。进行日志分析的时候会重构等价的语句和语句。重构出的是由多个元操作构成的等价语句,可在视图中访问到作业会保证变化数据按照其提交的顺序被依次处理,同时去除回滚的事务。作业将接收到的变化信息输出到文件......”

下一篇
温馨提示:手指轻点页面,可唤醒全屏阅读模式,左右滑动可以翻页。
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(1)
1 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(2)
2 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(3)
3 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(4)
4 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(5)
5 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(6)
6 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(7)
7 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(8)
8 页 / 共 9
核电行业实时ETL系统的设计与实现(论文原稿).doc预览图(9)
9 页 / 共 9
预览结束,喜欢就下载吧!
  • 内容预览结束,喜欢就下载吧!
温馨提示 电脑下载 投诉举报

1、手机端页面文档仅支持阅读 15 页,超过 15 页的文档需使用电脑才能全文阅读。

2、下载的内容跟在线预览是一致的,下载后除PDF外均可任意编辑、修改。

3、所有文档均不包含其他附件,文中所提的附件、附录,在线看不到的下载也不会有。

  • Hi,我是你的文档小助手!
    你可以按格式查找相似内容哟
DOC PPT RAR 精品 全部
小贴士:
  • 🔯 当前文档为word文档,建议你点击DOC查看当前文档的相似文档。
  • ⭐ 查询的内容是以当前文档的标题进行精准匹配找到的结果,如果你对结果不满意,可以在顶部的搜索输入框输入关健词进行。
帮帮文库
换一批

搜索

客服

足迹

下载文档