1、“.....根据配置来决定内置线程池大小，同时在获取到数据包时产生来异步执行输出工作。和样可以运行期装载接口实现类，这样提供了灵活的输出策略配置。在数据库输出的时候需要配置批量提交记录最大数，分批提交提高性能，也防止过大结果集批量提交问题。写出完成以后需要更新锁定文件的状态，标示成为已经分析成功。这里还遗留点问题，在个日志文件分包的过程中每个包都回记录隶属于哪个分析文件，文件配置类。表示采用泛型类图主要就是描述了在整个应用中所有的被分解可并行的任务定义。是用来在控制台输入停止日志分析的时候，做后续资源回收工作的任务。是用来清除被分析后的日志文件任务。是阻塞队列消费者任务。其他还有些辅助工具类以及工厂类和定义类就不画了。后话做这个设计和开发的过程中又好好的实践了些编程细节方面的内容......”。

2、“.....需要多些全局观和业务观，作为个良好的开发者来说需要多实践，多了解些细节，在不断学习和掌握各种大方向技术框架的同时，适当的了解些细节也是种很好的补充，同时也可以衍生思考。风格的服务结合云计算的思想，会被使用的更为广泛，而云计算其实就是个问题分解和组合处理的过程，可以说是种宏观的问题解决策略。高效解决问题，提供服务，通过组合体现业务最大价值，就是互联服务的最重要目的。最后个数据包将会被标示。在输出成功以后会去检查哪些包是文件最后数据包，更新此文件为已分析成功，如果出现异常，那么将会把这些文件状态清除，接受下次的重新分析。这里个文件部分包提交暂时没有做到事务致，如果出现部分成功可能会重复分析和记录。最后就是被定时执行，根据策略来删除或者移动已经被分析过的文件。内部可以配置线程池......”。

3、“.....线程池中的线程都被占用的情况下，定时任务将不会准确的按时执行，因此设计过程中需要注意的是，定时任务般是简短的工作任务，如果比较耗时，那么应该结合和，定时任务完成必要工作以后将耗时工作转交给创建的即时执行异步线程去处理，保证正常工作。上面的类图中主要描述的就是日志分析应用的三个主类类似于控制台的，具体内部资源管理类，水线执行。说到任务分解又会想起读书时候的离散数学中关键路径等等。任务分解还是要根据具体情况来分析和设计，不然并行不但不会提高效率，反而还降低了处理效率。就日志分析来看，主要的处理过程可以分成这么几个任务检查日志来源目录，锁定需要分析的文件。执行需要时间很短，可通过定时间隔执行。分析已经被锁定的日志文件，产生分析结果。执行需要时间根据日志文件大小来决定......”。

4、“.....结果根据设定拆分成细粒度包，降低输出线程等待时间。检查分析结果队列。执行需要时间很短，当前是配置了来执行检查阻塞队列的工作，同时获取到分析结果包以后立刻创建线程来执行输出任务输出分析结果，如果输出成功，将分析过的日志文件在日志文件状态缓存中的状态更新为已分析。执行时间根据输出情况来定，当前实现的是批量输出到数据库中，根据配置来批量提交入库，后续还会考虑实时统计到集中式作为监控使用。清理分析日志文件。执行时间较短，设定了定时线程池执行清理任务，根据中是否存在此文件，如果不存在证明尚未分析，需要将其置入，如果已经存在就去查询其他文件。这里用了点小技巧，通常我们对于此类操作应该做两部分工作，然后再，但是这样可能就会在高并发的情况下出现问题，因为这两个操作不是个原子操作。提供了操作......”。

5、“.....那么将会把，存入，并且返回，如果已经存在了那么就返回在已经对应的值。通过，就可以把两个操作合并成为个操作。日志读取的工作线程完成锁定文件以后，就将后续的工作交给来创建分析任务异步执行分析操作，日志读取工作线程任务就此完成。是运行期装载具体的接口实现略配置来执行清理和移动文件任务，并且清除在日志文件状态缓存中的信息根据上面的分解可以看到，其实在单线程工作的过程中，容易造成阻塞而影响性能的主要是读取，分析和写出这三个过程的协调，个个读取分析和写出，性能定低于读取和分析并行工作，而分析完毕才写出，性能定低于分析部分，写出部分。同时由于细分各个任务，因此任务与任务之间的耦合度降低，可以运行期获取具体的任务实现配置，达到灵活配置的目的。下面就具体的看看整个流程......”。

6、“.....这里根据下图中的序号来逐描述配置了来检查日志所属目录中的日志文件，的线程池大小以及检查时间间隔都根据配置来设定。定时任务可以设置时间，那么可以根据你的任务数量以及时间间隔来设定每个任务的时间，均匀的将这些任务分布，提高效率。当被执行时，将会去检查也就是上面提到的器上这里通过配置可以决定日志是根据什么时间间隔来产生新文件。日志分析应用就比较单纯的读取日志，分析日志，输出分析结果包括写入数据库或者是将即时统计信息存入到集中式缓存中。网络结构图如下概述看的很容易就理解了，这里我只是大致的说下几个自己在应用中使用的接口看看名字就知道了，阻塞式队列，可以设置大小。适合于生产者和消费者模式，生产者在队列满时阻塞，消费者在队列空时阻塞......”。

7、“.....任何需要执行的任务都可以定义成，类似于线程的接口，可以被指派给内部的线程异步执行，并且返回对象或者抛出异常。在日志分析应用开发中，非定时性的任务都定义成为此类型。这个以前常常使用，因为效率要远远高于和。后面还会提到实践中的几个实用的技巧来防止在高并发的情况下出现问题。在日志分析应用中，此类型的作为保存日志文件分析状态的缓存日志文件分为两种状态分析中，分析结束。如果不存在于中就认为尚未分析，那么将其纳入然后启动分析处理线程工作，如果存在于中标示为分析中，那么将不会再分析此文件，如果分析结束并且被输出，将会标示此文件分析结束，异步清理线程将会定时根据策略删除或移动文件。内置线程池，异步执行指派任务，并可以根据返回的来跟踪执行情况。在日志分析应用开发中......”。

8、“.....内置线程池，定时异步执行指派任务，并可以根据返回的来跟踪执行情况。在日志分析应用开发中，被用于定时性任务执行。以上就是被使用到的接口，具体实现策略配置就不在此赘述了。整体结构设计整体设计还是基于开始设定的两个原则灵活配置，高效性任务分解，并行流任务就是要完成个日志分析应用。需求没有很明确，只是要有这么个东西能够满足分析收集后的日志，将分析后的原始数据入库，作为后期分析和统计使用。在动手做之前，我还是给这个应用作了最基本的需求定义灵活配置输入源，输出目标，分析器的实现等，高效并行任务分解。就这两点能够做到，那么将来需求如何变化都可以适应。的包是满足后面那项最好的实现，里面的线程池，异步服务调用，并发控制都能够极好的完成并行任务分解的工作。的包中将会增加风格的并行分解库......”。

9、“.....同时能够在当前多的情况下提高执行效率，充分利用的种实现。背景由于服务路由应用访问量十分大，即时的将访问记录入库对于路由应用本身以及数据库来说无疑都会产生很大的压力和影响。因此考虑首先将访问信息通过记录在本地当然自己需要定制下的和，然后通过服务器的定时任务脚本来将日志集中到日志分析应用所在的机器类采用的就是类似于等框架使用的来读取工厂类，载入接口实现。执行的主要任务就是分析文件，并且根据配置将分析结果拆分并串行的置入到中，提供给输出线程使用。主要工作就是守候着，当有数据结果产生就创建来异步执行输出。根据配置来决定内置线程池大小，同时在获取到数据包时产生来异步执行输出工作。和样可以运行期装载接口实现类，这样提供了灵活的输出策略配置。在数据库输出的时候需要配置批量提交记录最大数......”。