华东师范大学学报(自然科学版) ›› 2015, Vol. 2015 ›› Issue (S1): 126-131.doi: 10.3969/j.issn.1000-5641.2015.z1.021

• 大数据与云计算 • 上一篇    下一篇

基于Hadoop的校园网站日志系统的设计与实现

  

  • 出版日期:2015-03-20 发布日期:2015-03-30

  • Online:2015-03-20 Published:2015-03-30

摘要: 每所高校校园网内成百上千的网站每天产生的Web访问日志量级都以千万计.利用大数据技术对这些海量、实时的数据进行集中搜集和长期存储,并通过后期大数据分析来挖掘这些日志的价值,无论从管理运维角度,还是从信息安全视角都具有实际意义.本文以上海交通大学为例,介绍了利用Hadoop大数据平台,存储并分析校园网内数千网站日志的系统设计和实现.

关键词: 大数据, Hadoop, 校园网站, 日志系统