Educational resource content review method based on knowledge graph and large language model collaboration

doi:10.3969/j.issn.1000-5641.2024.05.006

Abstract

Abstract:

Automated content reviews on digital educational resources are urgently in demand in the educational informatization era. Especially in the applicability review of whether educational resources exceed the standard, there are problems with knowledge which are easy to exceed national curriculum standards and difficult to locate. In response to this demand, this study proposed a review method for educational resources based on the collaboration of an educational knowledge graph and a large language model . Specifically, this study initially utilized the ontology concept to design and construct a knowledge graph for curriculum education in primary and secondary schools. A knowledge localization method was subsequently designed based on teaching content generation, sorting, and pruning, by utilizing the advantages of large language models for text generation and sorting tasks. Finally, by detecting conflicts between the core knowledge sub-graph of teaching content and the knowledge graph teaching path, the goal of recognizing teaching content that exceeded the national standard was achieved. Experimental results demonstrate that the proposed method effectively addresses the task of reviewing exceptional standard knowledge in educational resource content. This opens up a new technological direction for educational application based on the knowledge graph and large language model collaboration.

Key words: knowledge graph, large language model application, educational resource content review

CLC Number:

G40-057

Jia LIU, Xin SUN, Yuqing ZHANG. Educational resource content review method based on knowledge graph and large language model collaboration[J]. Journal of East China Normal University(Natural Science), 2024, 2024(5): 57-69.

Figures/Tables 11

Fig.1

Table 1

Table 2

Fig.2

Fig.3

Fig.4

Fig.5

Table 3

Table 4

Table 5

Table 6

References 20

1	教育部办公厅. 国家智慧教育平台数字教育资源内容审核规范(试行) [A/OL]. (2022-05-26) [2024-05-22]. http://www.moe.gov.cn/srcsite/A16/s3342/202211/t20221108_979699.html.
2	邓志鸿, 唐世渭, 张铭, 等.. Ontology研究综述. 北京大学学报(自然科学版), 2002, (5): 038.
3	CHEN X, JIA S, XIANG Y.. A review: Knowledge reasoning over knowledge graph. Expert Systems with Applications, 2020, 141, 112948.
4	沈红叶, 肖婉, 季一木, 等.. 教育知识图谱的类型、应用及挑战. 软件导刊, 2023, 22 (10): 237- 243.
5	李艳燕, 张香玲, 李新, 等.. 面向智慧教育的学科知识图谱构建与创新应用. 电化教育研究, 2019, 40 (8): 60- 69.
6	马富龙, 张泽琳, 闫燕.. 学科知识图谱: 内涵、技术架构、应用与发展趋势. 软件导刊, 2024, 23 (3): 212- 220.
7	ZAREMBA W, SUTSKEVER I, VINYALS O. Recurrent neural network regularization [EB/OL]. (2014-09-08)[2024-05-22]. https://arxiv.org/pdf/1409.2329.
8	GRAVES A. Long short-term memory [J]. Supervised Sequence Labelling with Recurrent Neural Networks, 2012: 37-45.
9	ILIĆ S, MARRESE-TAYLOR E, BALAZS J A, et al. Deep contextualized word representations for detecting sarcasm and irony [C]// ALEXANDRA B, SAIF M M, VERONIQUE H, et al. Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis. Brussels: Association for Computational Linguistics, 2018: 2-7.
10	VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need [EB/OL]. (2017-06-12)[2024-05-22]. https://arxiv.org/pdf/1706.03762.
11	DEVLIN J, CHANG M W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding [EB/OL]. (2018-10-11)[2024-05-22]. https://arxiv.org/pdf/1810.04805.
12	FEDUS W, ZOPH B, SHAZEER N.. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 2022, 23 (120): 1- 39.
13	CHOWDHERY A, NARANG S, DEVLIN J, et al.. Palm: Scaling language modeling with pathways. Journal of Machine Learning Research, 2023, 24 (240): 1- 113.
14	RAE J W, BORGEAUD S, CAI T, et al. Scaling language models: Methods, analysis & insights from training gopher [EB/OL]. (2021-12-02)[2024-05-22]. https://arxiv.org/pdf/2112.11446.
15	黄勃, 吴申奥, 王文广, 等. 图模互补: 知识图谱与大模型融合综述 [J/OL]. (2024-05-17)[2024-05-29]. 武汉大学学报(理学版), 2024: 397-412. https://doi.org/10.14188/j.1671-8836.2024.0040.
16	LEI Y , UREN V , MOTTA E . SemSearch: A search engine for the semantic web [M]// STEFFEN S, VOJTěCH S. Managing Knowledge in a World of Networks. Berlin: Springer, 2006: 238-245.
17	季慧娟. K12教育知识图谱管理系统设计与实现 [D]. 武汉: 华中师范大学, 2021.
18	付雷杰, 曹岩, 白瑀, 等.. 国内垂直领域知识图谱发展现状与展望. 计算机应用研究, 2021, 38 (11): 3201- 3214.
19	DU Z, QIAN Y, LIU X, et al. Glm: General language model pretraining with autoregressive blank infilling [C]// SMARANDA M, PRESLAV N, ALINE V. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Dublin: Association for Computational Linguistics. 2021: 320–335.
20	ACHIAM J, ADLER S, AGARWAL S, et al. Gpt-4 technical report [EB/OL]. (2023-03-15)[2024-06-30]. https://arxiv.org/pdf/2303.08774.

实体类型	含义
学段	包含小学、初中、高中, 定义学段有助于对不同教育阶段的知识内容进行分类和组织, 也方便按学段查询和学习知识.
年级	包括各个具体年级, 如一年级到六年级 (小学) 、七年级到九年级 (初中) 及高一到高三 (高中).
学科	涵盖语文、英语、数学、生物、物理、历史、化学、政治、地理等各个科目, 通过定义学科, 可以将不同学科的知识点进行分类.
版本	包含不同版本的教材, 如人教版、苏教版、北师大版等.
册次	包括每个年级的上册、下册, 或其他分册信息.
课程名	指具体的课程名称, 如“热机”“第14课可爱的动物”及“分子动能和分子势能”等.

关系类型	含义
包含 (被包含)	该对象属性用来表示一个学段包含几个年级、一个学科包含几种版本、一个章节包含几个知识的关系等; 通过“包含”关系, 可以展示知识的层级结构, 例如 “角”包含“直角”.
前序知识 (后序知识)	该关系表示两个知识点, 前者是后者的前提或基础, 后者则是前者的延伸或应用, 这有助于学生理解学习顺序, 确保他们在学习新知识前已经掌握了相关的基础知识. 比如, 章节“第一章分子动理论”是“第二章气体、固体和液体”的前序知识.
并列	该关系表示两个知识点或章节是并列关系, 即它们处于同一层级, 没有包含或前后序关系, 或表示同一年级相同学科不同版本之间的并列关系. 该属性有助于组织和展示同级别的知识点, 便于学生进行横向对比学习.
序号	该关系连接知识图谱中的每一个实体及其对应的ID, 使实体在知识图谱中具有唯一性, 提高知识图谱在应用中的准确性.
章节	该关系为每一个课程名实体附加所在章节信息, 便于查找检索和推理的后续应用.

类别	实体						关系
类别	学段	年级	学科	版本	册次	课名	关系
数量	3	15	206	1665	1680	35033	7
总计	38602						7

大模型	知识点	无KG知识		有KG知识
大模型	知识点	输出	正误	输出	正误
GPT-4	铵盐和氨的制作方法	第八册第二章		必修第二册第五章
	二战后资本主义的新变化	高中必修三第六单元		九年级下册第五单元
	圆与圆的位置关系	高中第二册第四章		选修第一册第二章
	藻类、苔藓和蕨类植物	初中第一册《植物的多样性》单元		七年级上册第三单元
	光的波粒二象性	高中第六册第九章		选修第三册第四章
Llama	铵盐和氨的制作方法	必修第二册第五章		必修第二册第五章
	二战后资本主义的新变化	高三第五册第七单元		九年级下册第五单元
	圆与圆的位置关系	初中七年级第七章		选修第一册第二章
	藻类、苔藓和蕨类植物	七年级第二单元		七年级上册第三单元
	光的波粒二象性	高一第五章		选修第三册第四章
文心一言	铵盐和氨的制作方法	必修第二册第三章		必修第二册第五章
	二战后资本主义的新变化	九年级下册第五单元		九年级下册第五单元
	圆与圆的位置关系	九年级上册第二十四章		选修第一册第二章
	藻类、苔藓和蕨类植物	七年级上册第三单元		七年级上册第三单元
	光的波粒二象性	无法给出回答		选修第三册第四章

大模型	“包含”关系		“前序知识”关系		“并列”关系
大模型	输出内容	输出正误	输出内容	输出正误	输出内容	输出正误
ChatGLM3	①正确 ②正确 ③错误		④正确 ⑤正确		⑥正确 ⑦错误
GPT-3.5	①错误 ②正确 ③错误		④正确 ⑤正确		⑥正确 ⑦正确
GPT-4	①正确 ②正确 ③错误		④错误 ⑤错误		⑥错误 ⑦错误