基于Hadoop的校园网站日志系统的设计与实现

doi:10.3969/j.issn.1000-5641.2015.z1.021

华东师范大学学报(自然科学版) ›› 2015, Vol. 2015 ›› Issue (S1): 126-131.doi: 10.3969/j.issn.1000-5641.2015.z1.021

基于Hadoop的校园网站日志系统的设计与实现

出版日期:2015-03-20 发布日期:2015-03-30

Online:2015-03-20 Published:2015-03-30

摘要/Abstract

摘要： 每所高校校园网内成百上千的网站每天产生的Web访问日志量级都以千万计.利用大数据技术对这些海量、实时的数据进行集中搜集和长期存储，并通过后期大数据分析来挖掘这些日志的价值，无论从管理运维角度，还是从信息安全视角都具有实际意义.本文以上海交通大学为例，介绍了利用Hadoop大数据平台，存储并分析校园网内数千网站日志的系统设计和实现.

关键词: 大数据, Hadoop, 校园网站, 日志系统

姜开达, 章思宇, 孙强. 基于Hadoop的校园网站日志系统的设计与实现[J]. 华东师范大学学报(自然科学版), 2015, 2015(S1): 126-131.

JIANG Kai-Da, ZHANG Si-Yu, SUN Qiang. [J]. Journal of East China Normal University(Natural Sc, 2015, 2015(S1): 126-131.

[1]	赵志明, 廖晓锋, 王晓玲, 阮春晟, 朱轶峰, 丰东升. 农业大数据基础设施开发的参考模型方法[J]. 华东师范大学学报(自然科学版), 2019, 2019(2): 77-96.
[2]	朱淑鑫, 李悦, 袁培森, 徐焕良, 王康, 谢忠红. 基于Hadoop/Hive的乳制品溯源数据计算及性能优化[J]. 华东师范大学学报(自然科学版), 2018, 2018(4): 99-108.
[3]	朱力纬, 刘丽勤, 王健. 高校基于大数据时代的数字化校园建设探讨[J]. 华东师范大学学报(自然科学版), 2015, 2015(S1): 104-110.
[4]	王慧锋, 房一泉, 陈晓宁. 建设智能云数据服务平台让高校大数据“说话”:提升学校核心竞争力[J]. 华东师范大学学报(自然科学版), 2015, 2015(S1): 111-118.
[5]	蒋东兴, 付小龙, 袁芳, 吴海燕, 刘启新. 大数据背景下的高校智慧校园建设探讨[J]. 华东师范大学学报(自然科学版), 2015, 2015(S1): 119-125.
[6]	宋式斌, 黄宁玉, 李爽. 新形势下高校校园卡建设的思考[J]. 华东师范大学学报(自然科学版), 2015, 2015(S1): 520-.
[7]	卞昊穹, 陈跃国, 杜小勇, 高彦杰. Spark上的等值连接优化[J]. 华东师范大学学报(自然科学版), 2014, 2014(5): 261-270.
[8]	裴欧亚, 刘文洁, 李战怀, 田征. 一种面向海量分布式数据库的嵌套查询策略[J]. 华东师范大学学报(自然科学版), 2014, 2014(5): 271-280.
[9]	郑伟安. 从统计套利看大数据的研究与应用[J]. 华东师范大学学报(自然科学版), 2014, 2014(3): 159-163.
[10]	冯翔，余明华，马晓玲，吴永和. 基于大数据技术的学习分析系统架构[J]. 华东师范大学学报(自然科学版), 2014, 2014(2): 20-29.

基于Hadoop的校园网站日志系统的设计与实现

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 10

编辑推荐

Metrics

本文评价