帮帮文库

返回

基于点击流数据和Hadoop的毕业设计论文 基于点击流数据和Hadoop的毕业设计论文

格式:word 上传:2022-06-25 20:01:04

《基于点击流数据和Hadoop的毕业设计论文》修改意见稿

1、“.....,,武汉理工大学硕士学位论文刘伟,胡志刚,郭克华设计模式清华大学出版社,接下来查询这个资源第个表示未知的之间的导航关系。查询的结果是个带权有向图其数据表示形式是邻接表,可使用表保存。查询原理用伪代码表示如下武汉理工大学硕士学位论文外面的双重循环相当于关系运算中的笛卡尔积,可以用无条件的关系运算符来实现。使用实现如下,,,,,查询表结果显示,个资源之间共存在种导航关系总可能导航关系是种。表数据详见本课题的项目。查询查询结果中增加了个字段。它是以为底数的指数,用于描述导航关系的数量级。对所得邻接表进行数据化展示......”

2、“.....可以渲染出使用简单的文本描述的矢量图形。本文利用正则表达式对表中的邻接表数据进行简单的处理,生成格式的矢量图形文件,然后利用及相关工作渲染出来。生成的图形文件格式为格式的详细设置参见绘图语言参考。使用自带的命令将格式转换为格式即可生成可用浏览器直接打开的形式的矢量图形文件。图形展示如图。如图,图中线的宽度代表了导航关系的强度或数量级。图中的节点明显可分为四类未知来源网站首页评论提交页其它页面均为专题页面。在统计时间段内,武汉理工大学硕士学位论文访客从未知来源进入了所有个主要页面,又从未知来源和所有其它个主要页面进入了评论提交页......”

3、“.....从图中还可以看出很多的信息,这里不再作深入讨论。武汉理工大学硕士学位论文图网站访问拓扑结构图武汉理工大学硕士学位论文自动化网站访客行为分析系统的构建本章前面的七节详细展示了运用处理传统点击流数据,分析网站访客行为的关键环节和关键技术。上面的分析是半手动的网站日志是手动复制到集群的日志的预处理是手动编写程序和执行程序完成的每个分析都是通过手动输入命令或,将结果导出到文本文件,最后通过绘图展示来完成的......”

4、“.....可以很容易地对过程进行改进,是构建自动化分析系统的必经阶段当分析过程趋于稳定,分析量增大后,分析过程的自动化,即构建自动化的网站访客行为分析系统,成了必然的选择。本节对此进行简单设计与实现。需求分析与整体设计围绕本研究的目的帮助企业开发面向未来海量用户和复杂业务的网站访客行为分析系统,本文对目标系统提出以下扼要的功能需求能定时收集网站日志能自动对收集来的网站日志进行预处理能自动执行预设的数据分析任务允许数据分析人员通过命令行界面或网页界面设定与执行数据分析任务所分析结果能保存成结构化的文本文件......”

5、“.....并能在网页界面上展示。根据以上对功能需求的分析,可以将系统的功能划分为五个模块日志收集模块,日志预处理模块,计划任务模块,分析结果存储模块,报表展示模块,如图。各个模块的主要功能如下日志收集模块在指定的日志收集时刻,从指定的个或多个网站服务器的日志目录下复制日志日志预处理模块执行预设的日志清洗任务,将收集来的日志处理成后续易于分析的结构化形式计划任务模块存储分析人员提供的任务及其执行计划在计划满足条武汉理工大学硕士学位论文件时,准备环境......”

6、“.....日志收集模块日志预处理模块计划任务模块分析结果存储模块报表展示模块图网站访客行为分析系统模块层次结构图如图所示,网站访客行为分析系统模块层次结构图具有个自底向上的方向性,其下端接外部系统如外部网站服务器网络文件系统等,上端接使用者如网站分析人员。日志收集和日志预处理本身也属于计划任务,但它们是后续分析型计划任务的先导任务,其中日志收集涉及与外部系统的交互,日志预处理涉及海量数据的写操作,因此将它们提出成单独的模块。计划任务模块接受分析人员的计划任务和执行命令的输入,分析结果存储模块存储任务执行的输出......”

7、“.....上述系统的逻辑模块同样也是系统主要的功能模块。系统功能模块结构如图。网站访客行为分析系统计划任务分析结果存储日志预处理报表展示日志收集计划任务设定计划任务执行文本文件存储关系数据库存储网页报表展示报表展示图系统功能模块结构图在这所有模块的背后,是通用分布式大规模数据存储与计算系统武汉理工大学硕士学位论文连接所有模块和的,是包括命令和管道重定向机制命令特别是计划任务命令和微型数据关系库引擎提供任务设定和报表展示用户界面的技术,本文设计使用模式的网站应用,并采用了公司提供的基于和的报表展示控件的开源版本标准版......”

8、“.....如图所示,可直接读取数据库展示数据分析结果,可调用完成后者的部分工作,包括计划任务设定等。拥有对和等所有其它部件的完全控制能力,可更加自由地设定计划任务执行任务等,并控制的执行的分析结果的导出导出到本地文件系统或。计划任务设定,报表展示计划任务执行计划任务设定,任务执行,数据传输等数据分析结果存储分布式大规模数据存储与处理图网站访客行为分析系统技术架构系统的部署可参考节中图描述的基于的网站访客行为分析方案的基本架构。详细设计总体设计中设计了构成系统的五大模块,并给出了实现和连接这些模块的技术架构......”

9、“.....详细设计每个模块的实现原理。日志收集模块日志收集模块在指定的日志收集时刻,从指定的个或多个网站服务器的日志目录下复制日志。该模块使用技术架构中的,为每个日志源设定条定时复制计划即可完成。须事先配置网站服务器,使其为每天创建单独的日志文件,方便每日定时复制和后续以天为自然统计时段进行数据分析。须能武汉理工大学硕士学位论文允许配置源路径和目标路径源路径须支持网络文件系统。须妥善处理好通过网络从网站服务器拷贝日志文件可能出现或失败的问题对于无法自动恢复的失败......”

下一篇
温馨提示:手指轻点页面,可唤醒全屏阅读模式,左右滑动可以翻页。
基于点击流数据和Hadoop的毕业设计论文.doc预览图(1)
1 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(2)
2 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(3)
3 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(4)
4 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(5)
5 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(6)
6 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(7)
7 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(8)
8 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(9)
9 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(10)
10 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(11)
11 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(12)
12 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(13)
13 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(14)
14 页 / 共 91
基于点击流数据和Hadoop的毕业设计论文.doc预览图(15)
15 页 / 共 91
预览结束,还剩 76 页未读
阅读全文需用电脑访问
温馨提示 电脑下载 投诉举报

1、手机端页面文档仅支持阅读 15 页,超过 15 页的文档需使用电脑才能全文阅读。

2、下载的内容跟在线预览是一致的,下载后除PDF外均可任意编辑、修改。

3、所有文档均不包含其他附件,文中所提的附件、附录,在线看不到的下载也不会有。

  • Hi,我是你的文档小助手!
    你可以按格式查找相似内容哟
DOC PPT RAR 精品 全部
小贴士:
  • 🔯 当前文档为word文档,建议你点击DOC查看当前文档的相似文档。
  • ⭐ 查询的内容是以当前文档的标题进行精准匹配找到的结果,如果你对结果不满意,可以在顶部的搜索输入框输入关健词进行。
帮帮文库
换一批

搜索

客服

足迹

下载文档