多源数据辅助材料研发的数据应用系统

doi:10.3969/j.issn.1000-5641.2022.05.002

摘要/Abstract

摘要：

材料研发行业在生产过程中产生的数据类型多样, 数据来源于不同系统, 涉及流程多, 面临数据孤岛等问题, 需要一个集数据收集、管理与应用于一体的数据应用系统推动其数字化转型, 发挥数据价值, 驱动行业创新变革. 本文针对以上问题, 设计了面向材料研发领域的数据应用系统, 覆盖了材料研发领域中从数据采集到数据存储的完整数据管理流程, 并且能够有效支撑“专题数据库”“配方性能预测”及“配方相关性分析”等材料研发数据应用, 推动材料研发行业以数据驱动创新发展.

关键词: 数据管理, 数据采集, 数据管理系统

Abstract:

The material research industry generates a wide variety of data from a wide range of sources. Notably, the data islanding issue pertaining to this scenario demands an application platform that integrates data collection, management, and application so that the value of the data can be better utilized for development. For this purpose, this study proposes a data management system that handles the entire data management lifecycle from collection to application for the material research industry, including thematic database, formula performance prediction, and formula correlation analysis capabilities. Itis expected that this development will promote data-driven innovations and improvements within the industry.

Key words: data management, data collection, data management system

中图分类号:

N945

洪语晨, 郁毅明, 王晔, 董启文. 多源数据辅助材料研发的数据应用系统[J]. 华东师范大学学报（自然科学版）, 2022, 2022(5): 14-25.

Yuchen HONG, Yiming YU, Ye WANG, Qiwen DONG. Data application system for multi-source data-aided materialresearch and development[J]. Journal of East China Normal University(Natural Science), 2022, 2022(5): 14-25.

图/表 11

图1

图2

图3

图4

图5

图6

表1

图7

图8

表2

表3

参考文献 22

1	中华人民共和国工业和信息化部. 工业和信息化部关于工业大数据发展的指导意见 [EB/OL]. 信息技术发展司, (2020-05-13)[2022-07-10]. https://www.miit.gov.cn/xwdt/gxdt/sjdt/art/2020/art_a61849ebec144ebdb91fa9bc5474554c.html.
2	中华人民共和国工业和信息化部. 《工业互联网创新发展行动计划2021—2023年》解读 [EB/OL]. 信息通信管理局, (2021-02-18)[2022-07-10]. https://www.miit.gov.cn/zwgk/zcjd/art/2021/art_8ddb39d0d4134b42aa8fd39a4b9f017e.html.
3	王建民. 工业大数据技术综述. 大数据, 2017, 3 (6): 3- 14.
4	张小钢, 宋峥嵘, 李金来, 等. 材料编码映射辅助系统研究. 中国勘察设计, 2015, (6): 81- 84.
5	何磊, 何亮, 马晓阳. 船体结构钢及焊接材料数据库应用系统设计开发. 材料开发与应用, 2021, 36 (6): 49- 55.
6	The Apache Software Foundation. Apache sqoop [R/OL]. (2019-01-18)[2022-07-10]. https://sqoop.apache.org/.
7	Alibaba. DataX [R/OL]. [2022-07-10]. https://www.aliyun.com/product/bigdata/ide.
8	The Apache Software Foundation. Apache H2O [R/OL]. [2022-07-10]. https://docs.h2o.ai/.
9	南方电网报. 盘活数据资产激活数据价值——南方电网公司加快推进数据要素化资产化进程赋能数字化转型 [EB/OL]. (2021-08-03)[2022-07-10]. http://www.csg.cn/xwzx/2021/gsyw/202108/t20210803_321202.html.
10	HOLZINGER A, STRUGGL K H, DEBEVC M. Applying modelview controller (MVC) in design and development of information systems: An example of smart assistive script breakdown in an ebusiness application [C]// International Conference on e-Business (ICE-B). IEEE, 2010: 1-6.
11	STUURMAN S. Software architecture, java beans [C]// TC2 First Working IFIP Conference on Software Architecture (WICSA1). 1999: 183-200.
12	DRAGONI N, GIALLORENZO S, LLUCH LAFUENTE A, et al. Microservices: Yesterday, today, and tomorrow [EB/OL]. (2019-05-28)[2022-07-10]. https://arxiv.org/abs/1606.04036.
13	SHVACHKO K, KUANG H, RADIA S, et al. The hadoop distributed file system [C]// IEEE 26th Symposium on Mass Storage Systems and Technologies (MSST). IEEE, 2010: 1-10.
14	ORACLE. MySQL binary log [EB/OL]. [2022-07-10]. https://dev.mysql.com/doc/refman/8.0/en/binary-log.html.
15	CHRISTINE M. Plant physiology: Plant biology in the Genome Era. Science, 1998, 281, 331- 332.
16	The Apache Software Foundation. Apache sorl [EB/OL]. [2022-07-10]. https://solr.apache.org/.
17	The Apache Software Foundation. Apache kafka [EB/OL]. [2022-07-10]. https://kafka.apache.org/.
18	The Apache Software Foundation. Apache hive [EB/OL]. [2022-07-10]. https://hive.apache.org/.
19	The Apache Software Foundation. Apache airflow [EB/OL]. [2022-07-10]. https://airflow.apache.org/.
20	The Elastic Corporation. Kibana 用户手册 [EB/OL]. [2022-07-10]. https://www.elastic.co/guide/cn/kibana/current/index.html.
21	王大阜, 邓志文, 贾志勇, 等. 基于ELK构建图书馆多数据源日志管理分析平台. 新世纪图书馆, 2022, (2): 68- 74.
22	The Apache Software Foundation. Apache kibana [EB/OL]. [2022-07-10]. https://www.elastic.co/guide/cn/kibana/current/index.html.

数据类型	排序规则	示例
数值型	数据越大越好	数据在[A,B]区间内, 数值越大得分越高
	数据越小越好	数据在[A,B]区间内, 数值越小得分越高
	越靠近某个数值越好	数据在[A,B]区间内, 数值越靠近C得分越高
枚举型	按类型排序	不同枚举值对应不同分数

用例编号	功能模块	测试步骤	预期结果	实际结果
1	数据采集, 数据录入	1: 调用接口上传数据 2: 数据库中添加数据, 开启数据同步	1: 接收并存储对应数据 2: 获取增量数据并存储	通过
2	数据处理, 定时任务	1: 配置数据过滤流程 2: 创建对应定时任务 3: 开启定时任务	1: 系统保存数据过滤配置 2: 系统显示创建成功 3: 数据过滤结果正确, 能够定时进行	通过
3	日志收集, 系统日志收集	1: 收集系统日志 2: 查看系统日志	1: 系统日志收集正常 2: 能在日志查看界面进行查看	通过
4	数据应用, 专题数据库	1: 配置专题数据库创建规则 2: 点击保存 3: 查看对应数据	1: 页面显示可配置的数据规则 2: 保存成功 3: 数据显示内容正确	通过
5	数据应用, 综合排序	1: 选择对应待排序数据 2: 配置排序规则 3: 运行并查看结果	1: 可选择数据范围正确 2: 页面实现配置规则并能保存成功 3: 运行返回结果正确	通过

功能模块	训练样本量	平均响应时间/ms
配方性能预测	500	252
	1000	385
	2000	510
配方组分推荐	500	128
	1000	213
	2000	386
相关性分析	500	476
相关性分析	1000	793

[1]	高歌, 胡卉芪. FeaDB: 基于内存的多版本在线特征存储[J]. 华东师范大学学报（自然科学版）, 2023, 2023(5): 65-76.
[2]	刘丹琪, 蔡鹏. 存算分离架构下Part元数据的单独管理策略[J]. 华东师范大学学报（自然科学版）, 2023, 2023(5): 40-50.
[3]	郑新俊, 田国良, 黄飞虎. 基于Data Fabric的多模数据管理方法[J]. 华东师范大学学报（自然科学版）, 2023, 2023(5): 164-181.
[4]	邓思佳, 佟兴, 唐海波, 张召, 金澈清. 面向区块链的数据管理中间件[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 60-73.
[5]	唐海波, 林煜明, 李优. 一种基于K-Means的平衡约束聚类算法[J]. 华东师范大学学报(自然科学版), 2018, 2018(5): 164-171.
[6]	肖冰, 郭进伟, 钱卫宁. 可扩展数据管理系统中的网络请求服务机制[J]. 华东师范大学学报(自然科学版), 2016, 2016(5): 165-172.
[7]	仲玮, 吴晋, 黄涛. 校园网服务实时访问分析系统的设计[J]. 华东师范大学学报(自然科学版), 2015, 2015(S1): 210-.
[8]	张文杰, 彭智勇, 彭煜玮. 内存数据管理技术在族谱信息系统中的应用[J]. 华东师范大学学报(自然科学版), 2014, 2014(5): 311-319.
[9]	黄岚, 孙珂, 陈晓竹, 周敏奇. 内存集群计算:交互式数据分析[J]. 华东师范大学学报(自然科学版), 2014, 2014(5): 216-227.
[10]	晁平复, 郑芷凌, 房俊华, 张蓉. 支持通信数据查询分析的分布式计算系统[J]. 华东师范大学学报(自然科学版), 2014, 2014(5): 89-102.