1、“.....不断增长的数据量使得关系型数据库系统负载过于饱和,影响了系统服务的时效性和稳定性。中国气象局数获取唯条记录通过方式,设臵和参数进行范围匹配全表扫描,即直接扫描整张表中所有行记录。对的级索引支持较好,按查询的响应时间达到毫秒级。内臵特性以支持多条件查询的级索引。但的是直接扫描记录的,如果数据范围很大,会导致查询速度很慢。因此基于来实现级索引,满足之外的多要素数据检索需求。数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于等。存储的都是数组。基于的级索引设计简介是种开源的基于的全文检索引擎,支持和等常用输出格式。而是基于和的分布式搜索方案,使用作为集群的配臵信息中心。的工作模式中包含有多个,每个中包含多个,对应着个可访问的索引资源......”。
2、“.....而是基于和的分布式搜索方案,使用作为集群的配臵信息中心。的工作模式中包含有多个,每个中包含多个,对应着个可访问的索引资源,当通过访问集群时,便可以通过分片找到对应的,从而就可以访问索引文档了,如图所示。最后需要通过为相关产品数据配臵是统的,有和两种角色,每个定属于个,在中扮演还是由自动协调。级索引设计在存储时,默认按照进行排序并通过及其来检索数据,在查询的时候,有以下几种方式通过方式,指定获取唯条记录通过方式,设臵和参数进行范围匹配全表扫描,即直接扫描整张表中所有行记录。对的级索引支持较好,按查询文件方式存储和处理。不断增长的数据量使得关系型数据库系统负载过于饱和,影响了系统服务的时效性和稳定性。中国气象局数据库中存储多种数值预报产品信息,每行记录包含起报时间预报时效层次预报要素代码区域代码单要素文件路径等字段......”。
3、“.....数值预报产品记录保存个月,并定时清除表空间。在业务和科研工作中,往往需要长时间序列的数值预报产品数据,并且要求实时检索,因此考虑利用分布式架构来解决海量气象数据存储检索所面临的问题。在分布式存储和计算技术中,平台数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于设计了分布式的数据存储模型,应用将数值预报产品解码信息存入,并将解码得到的要素文件写入。因对的级索引支持较好,而对多条件查询支持不足,需辅助索引加以优化。接收数据时自动触发协处理器同步记录到,实现了的级索引。测试结果表明,最快入库速度可达每秒条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时用气象学报,杨润芝,马强,李德泉等内存转发模型在数据收发系统中的应用应用气象学报,李永生,曾沁......”。
4、“.....陈东辉,曾乐,梁中军等基于的气象地面分钟数据分布式存储系统计算机应用,权威指南北京清华大学出版社,张苈,周峥嵘,刘媛媛及其应用中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会年李葳资料解码及数据格式转换气象与减灾研究,权威指南北京人民邮电出版社,郝强,高占件系统中的存储路径,包含的格点数据在接口调用时作为维数组返回。选取表中和列做数据模型展示,见表。基于的数值预报产品存储检索应用论文原稿。入库性能解码生成了个解码日志文件,共条记录,耗时,平均写入速度条随机抽取条记录入库,如图所示。测试结果表明随着入库记录数的增加,数据入库性能总体平稳,最快写入速度条。索引完整性验证测试用例设计如表。在验证索引完整性上......”。
5、“.....权威指南北京人民邮电出版社,郝强,高占春基于的网络百科检索服务的实现软件,付剑生,徐林龙,林文斌分布式全网职位搜索引擎的研究与实现计算机技术与发展,杨润芝,沈文海,肖卫青等基于计算模型的气象资料处理调优试验应用气象学报,邹敏昊基于的全文检索功能的设计与实现南京南京大学,李永生,曾沁,杨玉红等基于大数据技术的气象算法并行化研究计算机技术与发展表得出结论无论是按时间点查询还是中按时间范围查询,基于的查询效率都高于查询方式按时间点的查询基本都在毫秒级返回结果。结束语本文针对关系型数据库在数值预报产品数据的存储及检索效率低的问题,研究分布式数据库结合索引服务的数据存储与检索优化方案,设计了适合气象业务应用的数值预报产品数据存储模型,并建立索引。关键技术是前端并行方式入库协处理器同步记录至。实验测试验证了该方案提高了存储效率和检索速度......”。
6、“.....付剑生,徐林龙,林文斌分布式全网职位搜索引擎的研究与实现计算机技术与发展,杨润芝,沈文海,肖卫青等基于计算模型的气象资料处理调优试验应用气象学报,邹敏昊基于的全文检索功能的设计与实现南京南京大学,李永生,曾沁,杨玉红等基于大数据技术的气象算法并行化研究计算机技术与发展,单剑锋,马德锦常用服务技术研究计算机技术与发展,张叶,许国艳,花青基于的矢量空间数据存储与访问优化计算机应用,。果。结束语本文针对关系型数据库在数值预报产品数据的存储及检索效率低的问题,研究分布式数据库结合索引服务的数据存储与检索优化方案,设计了适合气象业务应用的数值预报产品数据存储模型,并建立索引。关键技术是前端并行方式入库协处理器同步记录至。实验测试验证了该方案提高了存储效率和检索速度,能够满足业务中的时效性要求......”。
7、“.....参考文献熊安元,赵芳,王颖等全国综合气象信息共享系统的设计与实现应热点。李永生等选用与相结合的方式设计数值预报产品服务平台陈东辉等详细介绍了基于的气象地面分钟数据分布式存储系统。本文选取数据库实现气象数据文件的分布式存储管理,并实现前端解码入库性能优化和后端数据检索性能优化。实验测试验证了基于的数值预报产品存储与检索方案的可行性,为海量气象数据的存储和检索服务提供種优化思路。基于的数值预报产品存储检索应用论文原稿。入库性能解码生成了个解码日志文件,共条记录,耗时,平均写入速度条随机抽取条记录入库,如图所示。测试结果表索引查询返回的记录数对比,如表所示。表中每个测试用例均做了组对比,基于索引的查询记录数均和查询的记录数致,说明索引完整可用。检索性能将表中检索换成系统数据库查询,且中数据表与表均保留万条记录......”。
8、“.....由表得出结论无论是按时间点查询还是中按时间范围查询,基于的查询效率都高于查询方式按时间点的查询基本都在毫秒级返回,单剑锋,马德锦常用服务技术研究计算机技术与发展,张叶,许国艳,花青基于的矢量空间数据存储与访问优化计算机应用,。数据存储模型设计研究方案将数值预报产品通过解码后存储在中,不同的数值预报产品分开存储在不同的实体数据表中,目前实际存储了大类数值预报产品,包括发布的细网格的数值预报产品,发布的水平分辨率数值预报产品,高分辨率东北半球数值产品。数据表以行键列族数据的方式存储数值产品的实体数据。数据表存储内容说明如表所示。是解码所得要素文件的在文效性要求。对于的參数调优动态增加节点时的扩展性能测试以及索引的更新维护将是下步研究的工作。参考文献熊安元,赵芳,王颖等全国综合气象信息共享系统的设计与实现应用气象学报,杨润芝,马强......”。
9、“.....李永生,曾沁,徐美红等基于的数值预报产品服务平台设计与实现应用气象学报,陈东辉,曾乐,梁中军等基于的气象地面分钟数据分布式存储系统计算机应用,权威指南北京清华大学出版社,张苈,周峥嵘,刘媛媛及其应用中国气象学会气象随着入库记录数的增加,数据入库性能总体平稳,最快写入速度条。索引完整性验证测试用例设计如表。在验证索引完整性上,分别对基于的条件过滤查询和索引查询返回的记录数对比,如表所示。表中每个测试用例均做了组对比,基于索引的查询记录数均和查询的记录数致,说明索引完整可用。检索性能将表中检索换成系统数据库查询,且中数据表与表均保留万条记录。考查表中各测试用例中列所需时间对比如表所示。由基于的数值预报产品存储检索应用论文原稿据库中存储多种数值预报产品信息,每行记录包含起报时间预报时效层次预报要素代码区域代码单要素文件路径等字段......”。
1、手机端页面文档仅支持阅读 15 页,超过 15 页的文档需使用电脑才能全文阅读。
2、下载的内容跟在线预览是一致的,下载后除PDF外均可任意编辑、修改。
3、所有文档均不包含其他附件,文中所提的附件、附录,在线看不到的下载也不会有。