基于Hadoop/Hive的乳制品溯源数据计算及性能优化

doi:10.3969/j.issn.1000-5641.2018.04.010

华东师范大学学报(自然科学版) ›› 2018, Vol. 2018 ›› Issue (4): 99-108.doi: 10.3969/j.issn.1000-5641.2018.04.010

基于Hadoop/Hive的乳制品溯源数据计算及性能优化

朱淑鑫¹, 李悦¹, 袁培森¹, 徐焕良^1,2, 王康¹, 谢忠红¹

1. 南京农业大学信息科学与技术学院, 南京 210095;
2. 江苏省肉类生产与加工质量安全控制协同创新中心, 南京 210095

收稿日期:2017-06-19 出版日期:2018-07-25 发布日期:2018-07-19
通讯作者: 谢忠红,女,副教授,研究方向为农业信息化.E-mail:xiezh@njau.edu.cn E-mail:xiezh@njau.edu.cn
作者简介:朱淑鑫,女,副教授,研究方向为农业信息化与大数据处理.E-mail:zsx@njau.edu.cn
基金资助:
中央高校基本科研业务费专项资金（KYZ201551，KYZ201670，KYZ201752，KJQN201651）；国家科技支撑计划（2015BAK36B05）；江苏省重点研发计划项目（BE2016803）；国家自然科学基金（61502236）

Data calculation and performance optimization of dairy traceability based on Hadoop/Hive

ZHU Shu-xin¹, LI Yue¹, YUAN Pei-sen¹, XU Huan-liang^1,2, WANG Kang¹, XIE Zhong-hong¹

1. College of Information Science and Technology, Nanjing Agricultural University, Nanjing 210095, China;
2. Jiangsu Collaborative Innovation Center of Meat Production and Processing, Quality and Safety Control, Nanjing 210095, China

Received:2017-06-19 Online:2018-07-25 Published:2018-07-19

摘要/Abstract

摘要： 为了提升传统乳制品溯源系统应对大规模企业生产数据的性能，本文分析了乳制品相关企业供应链业务流程、关键溯源单元和溯源信息，结合Hadoop/Hive大数据技术和分布式数据库技术，设计并构建了基于Hadoop/Hive的乳制品溯源框架.搭建模拟大数据环境并使用实际生产数据对系统性能进行测试，实验结果表明，引入Hadoop/Hive技术后，系统的平均数据存储速度、平均数据访问速度、平均数据交互速度分别提升了87.43%、27.10%、58.16%.改进后的乳制品溯源系统存储和处理大规模数据的能力明显优于传统的乳制品溯源系统.

关键词: Hadoop/Hive, 乳制品溯源, 数据计算, 性能优化

Abstract: In order to enhance the performance of traditional dairy traceability systems for the production data of large-scale enterprise, this paper analyzed the supply chain process of dairy enterprises, key traceability units and traceability information; combining Hadoop/Hive big data technology and distributed database technology, the paper designed and constructed a dairy products traceability framework based on Hadoop/Hive. We built a simulated large-scale data environment and used actual production data to test the system performance. The experimental results showed that after the introduction of the Hadoop/Hive technology system, the average data storage speed, the average data access speed, and the average data exchange rate increased by 87.43%, 27.10% and 58.16%, respectively. The improved traceability system for dairy products is superior to the traditional dairy traceability system in storing and processing large-scale data.

Key words: Hadoop/Hive, dairy products traceability, data calculation, performance optimization

中图分类号:

TP39

朱淑鑫, 李悦, 袁培森, 徐焕良, 王康, 谢忠红. 基于Hadoop/Hive的乳制品溯源数据计算及性能优化[J]. 华东师范大学学报(自然科学版), 2018, 2018(4): 99-108.

ZHU Shu-xin, LI Yue, YUAN Pei-sen, XU Huan-liang, WANG Kang, XIE Zhong-hong. Data calculation and performance optimization of dairy traceability based on Hadoop/Hive[J]. Journal of East China Normal University(Natural Sc, 2018, 2018(4): 99-108.

参考文献

[1] ABOUZIED A, BAJDA-PAWLIKOWSKI K, HUANG J, et al. HadoopDB in action:Building real world applications[C]//ACM SIGMOD International Conference on Management of Data. ACM, 2010:1111-1114.
[2] ABOUZEID A, BAJDA-PAWLIKOWSKI K, ABADI D, et al. HadoopDB:An architectural hybrid of MapReduce and DBMS technologies for analytical workloads[J]. Proceedings of the VLDB Endowment, 2009, 2(1):922-933.
[3] ISMAIL A S, AL-FEEL H, MOKHTAR H M O. Introducing a new arabic endpoint for DBpedia internationalization project[C]//International Database Engineering & Applications Symposium. ACM, 2016:284-289.
[4] TORRES D, SKAF-MOLLI H, MOLLI P. et al. BlueFinder:Recommending wikipedia links using DBpedia properties[C]//Proceedings of the 5th Annual ACM Web Science Conference (WebSci'13). New York:ACM, 2013:413-422. DOI:https://doi.org/10.1145/2464464.2464515.
[5] 叶育鑫, 欧阳丹彤. 混合语义约简和选择估值优化SPARQL[J]. 电子学报, 2010, 38(5):1205-1210.
[6] 王德文, 肖凯, 肖磊. 基于Hive的电力设备状态信息数据仓库[J]. 电力系统保护与控制, 2013(9):125-130.
[7] 曲朝阳, 朱莉, 张士林. 基于Hadoop的广域测量系统数据处理[J]. 电力系统自动化, 2013, 37(4):92-97.
[8] 刘越, 李锦涛, 虎嵩林. 基于代价估计的Hive多维索引分割策略选择算法[J]. 计算机研究与发展, 2016, 53(4):798-810.
[9] 董新华, 李瑞轩, 周湾湾, 等. Hadoop系统性能优化与功能增强综述[J]. 计算机研究与发展, 2013, 50(s2):1-15.
[10] THUSOO A, SARMA J S, JAIN N, et al. Hive:A warehousing solution over a map-reduce framework[J]. Proceedings of the VLDB Endowment, 2009, 2(2):1626-1629.
[11] OLSEN P, BORIT M. How to define traceability[J]. Trends in Food Science & Technology, 2013, 29(2):142-150.
[12] 钱建平, 刘学馨, 杨信廷, 等. 可追溯系统的追溯粒度评价指标体系构建[J]. 农业工程学报, 2014, 30(1):98-104.
[13] SHVACHKO K, KUANG H, RADIA S, et al. The Hadoop distributed file system[C]//Proceedings of the IEEE 26th Symposium on Mass Storage Systems and Technologies. Washington:IEEE Computer Society, 2010:1-10. DOI:10.1109/MSST.2010.5496972.
[14] 张良均. Hadoop大数据分析与挖掘实战[M]. 北京:机械工业出版社, 2016.
[15] 荀亚玲, 张继福, 秦啸. MapReduce集群环境下的数据放置策略[J]. 软件学报, 2015(8):2056-2073.
[16] 叶晓江, 刘鹏. 实战Hadoop2.0从云计算到大数据[M]. 北京:电子工业出版社, 2016.
[17] 张佳兰, 昝林森, 刘永峰, 等. 我国DHI测定现状及存在的问题[J]. 中国牛业科学, 2007, 33(5):56-59.

基于Hadoop/Hive的乳制品溯源数据计算及性能优化

Data calculation and performance optimization of dairy traceability based on Hadoop/Hive

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	孙家博, 蔡鹏. 日志结构合并树的查询优化技术[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 94-103.
[2]	刘文欣, 蔡鹏. 多主数据库中基于分区的并发控制[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 84-93.
[3]	项兆坤, 陈婷, 苏仟, 张蓉. 面向OLAP数据库查询处理功能的模糊测试工具[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 74-83.
[4]	余阳, 胡卉芪, 周煊. 基于非易失性内存的LSM-tree存储系统优化[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 37-47.
[5]	付瑞, 李剑宇, 王笳辉, 岳昆, 胡矿. 面向领域知识图谱的实体关系联合抽取[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 24-36.
[6]	方创新, 宋浩, 林煜明, 周娅. CPU-GPU异构环境下的大规模商品知识查询处理[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 157-168.
[7]	郑思达, 刘岩, 杨晓坤, 戚成飞, 袁培森. 基于自适应竞争的均衡优化电力系统客户分类[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 146-156.
[8]	赵红成, 田秀霞, 杨泽森, 白万荣. YOLO-S: 一种新型轻量的安全帽佩戴检测模型[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 134-145.
[9]	杨梦晨, 陈旭栋, 蔡鹏, 倪葎. 早期时间序列分类方法研究综述[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 115-133.
[10]	马晓琴, 薛晓慧, 罗红郊, 刘通宇, 袁培森. 基于t-LeNet与时间序列分类的窃电行为检测[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 104-114.
[11]	徐秋荣, 朱鹏, 罗轶凤, 董启文. 金融领域中文命名实体识别研究进展[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 1-13.
[12]	胡亚琴, 唐明. 层间耦合关联对多层网络交通传输的影响[J]. 华东师范大学学报（自然科学版）, 2021, 2021(3): 105-113.
[13]	刘天弼, 冯瑞. 一种基于先验标记特征的精准图像配准算法[J]. 华东师范大学学报（自然科学版）, 2021, 2021(3): 65-77.
[14]	祝鸣, 沈建华, 汪家财. 可扩展物联网教学开发系统的设计与实现[J]. 华东师范大学学报（自然科学版）, 2021, 2021(3): 78-95.
[15]	梁艳春, 房爱莲. 基于多通道卷积神经网络的中文文本关系抽取[J]. 华东师范大学学报（自然科学版）, 2021, 2021(3): 96-104.