现代软件系统大多采用基于日志收集与分析的运维模式,帮助系统管理人员确保业务系统的安全性与稳定性.本文首先讨论了现有基于日志分析的运维方案.接下来,基于开源的ELK框架,设计了华东师范大学研究生院信息平台中的运维子系统.通过实时交互可视化的数据分析方式,有效地解决了研究生院业务人员在系统使用中遇到的性能与负载监控,用户行为分析以及服务异常调试等方面的问题.最后针对不同类型的业务运维场景,给出了基于交互式仪表盘的运维服务实现.
Log collection and analysis based operation scheme is very important in the design of modern software systems, which helps system administrators to enhance data security and service stability. Firstly, this paper discusses the existing operation approaches based on log collection and analysis. Secondly, with the open source ELK framework, this paper gives a detailed design of the operation subsystem in graduate student information platform. The proposed design can effectively fulfill the practical requirements of the graduate school, like performance and workload monitoring, user behavior tracking and error tracing, by using the real-time interactive data analysis on system and application logs. Finally, this paper demonstrates the interactive dashboard implementation of our operation subsystem under different business scenarios.
[1] 于长虹. 智慧校园智慧服务和运维平台构建研究[J]. 中国电化教育, 2015(8):16-20+28.
[2] 岑荣伟, 刘奕群, 张敏, 等. 基于日志挖掘的搜索引擎用户行为分析[J]. 中文信息学报, 2010(3):49-54.
[3] 郭岩, 白硕, 杨志峰, 等. 网络日志规模分析和用户兴趣挖掘[J]. 计算机学报, 2005(9):1483-1496.
[4] 邢东山, 沈钧毅, 宋擒豹. 从Web日志中挖掘用户浏览偏爱路径[J]. 计算机学报, 2003(11):1518-1523.
[5] 白俊, 郭贺彬. 基于ElasticSearch的大日志实时搜索的软件集成方案研究[J]. 吉林师范大学学报(自然科学版), 2014(1):85-87.
[6] 刘庆磊, 信师国, 李晓林. 虚拟技术在IT运维管理中的应用研究[J]. 信息技术与信息化, 2010(1):43-45.
[7] 王新, 马万青, 潘文林. 基于Web日志的用户访问模式挖掘[J]. 计算机工程与应用, 2006(21):156-158.
[8] 鲍钰, 黄国兴, 张召. 基于Web日志挖掘的网站结构优化方法[J]. 计算机工程, 2003(12):82-84.
[9] 周映, 韩晓霞. ELK日志分析平台在电子商务系统监控服务中的应用[J]. 信息技术与标准化, 2016(7):67-70.