计算机科学

基于微服务的研究生信息系统数据同步方案研究与设计

  • 陶慧玲 ,
  • 马依琳 ,
  • 王晔 ,
  • 董启文
展开
  • 1. 华东师范大学 数据科学与工程学院, 上海 200062

收稿日期: 2022-07-20

  网络出版日期: 2024-03-18

Research and design of data synchronization schemes of postgraduate information systems based on microservice

  • Huiling TAO ,
  • Yilin MA ,
  • Ye WANG ,
  • Qiwen DONG
Expand
  • 1. School of Data Science and Engineering, East China Normal University, Shanghai 200062, China

Received date: 2022-07-20

  Online published: 2024-03-18

摘要

随着高校信息系统应用的普及以及使用频率的提高, 师生对数据一致性、准确性、及时性和完整性提出了更高的要求, 原数据同步方案中使用XML (extensible markup language)进行数据同步具有同步效率低下、难以扩展的缺点. 考虑到开源工具DataX可以完成多种异构数据库之间的数据同步且不会对源数据库造成破坏, 本文使用DataX对原数据同步方案进行改进, 并针对高校研究生信息系统建设过程中存在的多个业务需求和应用场景, 提出了不同的数据同步方案. 同时, 针对DataX在启动和执行过程中一次读只能进行一次写的缺点, 设计了一次读可以多次写的方案. 对比实验表明, 优化后的方案可以提高数据同步效率, 具有较好的扩展性, 能够满足高校数据同步需求.

关键词: 微服务; 数据同步; DataX

本文引用格式

陶慧玲 , 马依琳 , 王晔 , 董启文 . 基于微服务的研究生信息系统数据同步方案研究与设计[J]. 华东师范大学学报(自然科学版), 2024 , 2024(2) : 42 -52 . DOI: 10.3969/j.issn.1000-5641.2024.02.006

Abstract

With the popularization of university information system applications and the increase in their usage frequency, teachers and students have higher requirements for data consistency, accuracy, timeliness, and completeness. The original data synchronization scheme using extensible markup language (XML) for data synchronization has the disadvantages of low synchronization efficiency and difficulty of expansion. The open-source tool, DataX, can complete data synchronization between various heterogeneous databases without damaging the source database. This study used DataX to improve the original data synchronization scheme and proposed different data synchronization schemes for various business requirements and application scenarios in the foundation of university postgraduate information system construction. At the same time, in view of the shortcomings of DataX in which only one read can do one write during the start-up and execution, the method where one read can do multiple writes was designed. The comparison experiment shows that the optimized scheme can improve data synchronization efficiency, has better scalability, and can meet the data synchronization requirements of universities.

参考文献

1 刘敏斯, 陈少波.. 大数据时代高校智慧校园建设研究. 软件导刊, 2015, 14 (8): 6- 8.
2 雷芸, 涂庆华, 宋骏飞, 等.. 大数据时代高校智慧校园服务平台建设与研究. 通讯世界, 2017, (1): 275- 276.
3 王平.. 基于 SOA 的数字化校园资源整合研究. 信息技术, 2016, 40 (1): 159- 161.
4 王杰勋, 廖文和. 利用JMS, XML技术实现异构数据库的数据同步 [J]. 机械制造与自动化, 2007, 36(1): 68-70.
5 WANG Q, LIU N J, YU C. Research of ETL on university data exchange platform [C]// Proceedings of the 2011 IEEE International Symposium on IT in Medicine and Education. 2011: 285-288.
6 WANG S N, LYU X Y. The analysis and design of data sharing platform for universities based on blockchain technology [C]// Proceedings of the 2018 3rd International Conference on Automation, Mechanical Control and Computational Engineering. 2018: 160-165.
7 ZHAO D.. Discussion on the application of blockchain technology in Internet insurance industry. Journal of Financial Development Research, 2016, (12): 35- 38.
8 张迅. 基于HDFS的海量小文件存取优化技术与应用 [D]. 南京: 南京邮电大学, 2021.
9 唐紫珺, 蒋亮.. 基于Kettle的数据预处理应用. 信息技术与信息化, 2021, (8): 128- 130.
10 陈馨瑶. 智慧化校园数据共享与交换的研究与应用 [D]. 杭州: 浙江农林大学, 2020.
11 刘曦葳.. 教育部印发《教育信息化十年发展规划 (2011—2020年)》. 中国教育信息化, 2012, (8): 95.
12 刘蕊.. 数字化校园建设与高校管理工作探讨. 黑龙江科学, 2021, 12 (1): 132- 133.
13 万里鹏, 陈雅, 郑建明.. 中国高校数字化校园建设与思考. 情报科学, 2004, 22 (3): 356- 362.
文章导航

/