1、“.....每个管道可以在个线程运行，也可以在另个主机上的个独立进程中运行。这样设计可以提高执行效率，且不同任务之间互不干扰，从而去掉个已有作业或增加个新的作业都不会影响到其它正常作业的运行，实现了系统的可扩展性。其系统架构图如图所示。作业示例现有系统十小时的日志数据，每个小时的数据存储在个压缩包内，每个压缩包大约，每个压缩包有千百万条记录，以进制文本存储。每个记录种基于的可扩展系统的研究与实现论文原稿其中，是個方法的名称，只需要符合语言方法命名规则即可是该方法的个属性，表示该方法将在过程第步调用，其它的属性类似是属性的值，表示该方法属于哪些作业，这样做的目的是使些作业共享这些方法......”。

2、“.....。系统实现图所示的任务分析器中，首先定义了种语言方法属性当管道中定义的方法具有上述这种方法属性中的任何种属性时，管道中定义的该方法语法信息会被当作参数传入与其用与软件郭树行，兰雨晴基于的异地协同工作流管理系统研究与实现计算机系统应用，徐俊刚，裴莹数据研究综述计算机科学，分别用开源工具和运行相同的作业十次，每次加载个小时数据，每小时数据有千百万条记录，记录该作业分别在和中运行所需时间，实验结果如图所示。实验环境为，内存。软件环境为位，数据库。从图可以看出系统具有较高效率，千多万条数据加载在秒内便能处理完毕，且大部分时间花费在数据转换这步......”。

3、“.....每个作业在个管道中执行，不影响其它作业，使得具有高可扩展性。简介是数据的抽取转换和加载，它能将分散凌乱异构的数据整合到目标数据仓库中，以供不同的业务系统查询使用。它首先从多种数据源中收集数据并进行处理，然后把处理过的数据加载到数据库中，其过程是相互关联的任务的顺序执行，主要包括数据抽取，数据转换和数据加载。从以上作业的示例可以看出，在系統，。从以上作业的示例可以看出，在系統中定义个作业，只需定义上述几个步骤对应的方法即可，可以借助已有的和等高效的文本处理工具，大大减少了设计作业的代码量。实验验证为了测试系统的性能......”。

4、“.....兰雨晴基于的异地协同工作流管理系统研究与实现计算机系统应用，徐俊刚，裴莹数据研究综述计算机科学，的可扩展系统的研究与实现论文原稿。分别用开源工具和运行相同的作业十次，每次加载个小时数据，每小时数据有千百万条记录，记录该作业分别在和中运行所需时间，实验结果如图所示。实验环境为，内存。软件环境为位，数据库。从图可以看出系统具有较高效率，千多万条数据加载在秒内便能处理完毕，且大部分时间花费在数据转换种基于的可扩展系统的研究与实现论文原稿中定义个作业，只需定义上述几个步骤对应的方法即可，可以借助已有的和等高效的文本处理工具，大大减少了设计作业的代码量......”。

5、“.....进行了如下实验采用运行第章所述的作业十次，每次加载个小时的数据，每小时数据有千百万条记录，运行任务过程中记录每步所花费的时间，实验结果如图所示。系统而言。采用插件的方式设计作业，个作业可以插入到系统中，也可以从中卸载掉。这种插件式的结构使得系统结构简单同时，不同的管道能在不同的主机上分布式的执行，从而保证的数据处理效率最后，本文还利用了数据分区等技术对数据库做了相应优化，以保证加载过程及查询操作都较为高效。以作为数据仓库采用语言实现，并利用语言的方法的行号。作业由系列方法组成，每个方法可以具有上述的种属性中的个。每个作业都可以定义和这个步骤中的几个步骤其中......”。

6、“.....每次加载个小时的数据，每小时数据有千百万条记录，运行任务过程中记录每步所花费的时间，实验结果如图所示。因此，本文设计并实现了系统，该系统以最终需要生成的数据表为目标，将不同数据处理划分为不同的作业，个作业最终生成个数据表，作业在管道中执行，并将最终结果存储到数据库相应的表中。作业和管道实际上是同含义，作业是对用户而言，管道是對，步，这步是由转换规则的复杂性决定的从图的对比可以看出，比开源工具具有更高的执行效率。结束语本文阐述了可扩展系统的设计情况以及数据的处理过程。系统是在合理运用现有技术的基础上......”。

7、“.....本系统不足之处在于，设计作业的自动化程度不高，部分工作需要手工编码完成。参考文献赵俊，夏小方法的名称，只需要符合语言方法命名规则即可是该方法的个属性，表示该方法将在过程第步调用，其它的属性类似是属性的值，表示该方法属于哪些作业，这样做的目的是使些作业共享这些方法。系统能在编译期间统计有哪些作业需要运行，然后依次加载并运行。要实现个作业，只需要定义个继承的类即可，并且实现上述种带有属性的方法。系统的主要类图如图所示。种基于种基于的可扩展系统的研究与实现论文原稿当管道中定义的方法具有上述这种方法属性中的任何种属性时......”。

8、“.....语法信息包括该方法所在类名，包含该方法的符号表引用，该方法的引用，方法属性的名称，属性的数据，该方法触发属性处理器的阶段，属性处理器所在文件及在该文件该过程负责将异构数据源如进制文件数据库表等抽取出来，统文本方式存储，便于后继步聚的合并清洗分类分拣和列检索等操作。抽取的方法通常依赖于源数据的具体结构，为上述进制文件编写单独的抽取工具，将抽取出来的数据以文本格式存储。种基于的可扩展系统的研究与实现论文原稿。任务分发器收集系统中所有的作业，根据用户定义配置将每个任务分发到不同的管道中去执行。作业执行成功，为主键。现需要将为特定值的数据加载到数据库中，且经常需要查询个小时的数据......”。

9、“.....如建立数据库表对数据库表进行分区准备源数据等。由于数据量较大，因此可以将数据按时间加以分区。数据的分区对应于数据库中表的分区，这样做既可以避免数据的重复译期间统计有哪些作业需要运行，然后依次加载并运行。要实现个作业，只需要定义个继承的类即可，并且实现上述种带有属性的方法。系统的主要类图如图所示。种基于的可扩展系统的研究与实现论文原稿。任务分发器收集系统中所有的作业，根据用户定义配置将每个任务分发到不同的管道中去执行。作业执行成功，相应的数据便能成功加载到目标数据库中。管道是系统的方法性相对应的属性定义方法中......”。