CedarAdvisor: 负载自适应的自动化索引推荐工具

doi:10.3969/j.issn.1000-5641.201921013

华东师范大学学报（自然科学版） ›› 2020, Vol. 2020 ›› Issue (6): 52-62.doi: 10.3969/j.issn.1000-5641.201921013

CedarAdvisor: 负载自适应的自动化索引推荐工具

阳文灿, 胡卉芪, 段惠超, 胡耀艺, 钱卫宁

华东师范大学数据科学与工程学院, 上海 200062

收稿日期:2019-08-26 发布日期:2020-12-01
通讯作者: 胡卉芪, 男, 博士, 副教授, 主要研究方向为数据库系统、分布式系统. E-mail: hqhu@dase.ecnu.edu.cn E-mail:hqhu@dase.ecnu.edu.cn
基金资助:
国家自然科学基金青年科学基金(61702189)

CedarAdvisor: A load-adaptive automatic indexing recommendation tool

YANG Wencan, HU Huiqi, DUAN Huichao, HU Yaoyi, QIAN Weining

Institute for Data Science and Engineering, East China Normal University, Shanghai 200062, China

Received:2019-08-26 Published:2020-12-01

摘要/Abstract

摘要： 索引在提高查询性能方面可以起到至关重要的作用, 数据库管理员的一项重要工作是为数据库选择合适的索引. 但随着数据库工作负载的不断复杂、数据量的持续增加、库中关系表的逐渐增多, 人为地分析工作负载成本、选择合适的索引并估算数据库空间变化情况变得越发困难. 本文设计了一款面向负载的自动化索引推荐工具——CedarAdvisor. 它从日志中自动化收集负载, 统计查询频率, 在为单条查询生成候选索引的基础上, 评估索引收益与代价, 通过动态规划算法生成整个负载的索引推荐. 最后我们在分布式数据库上验证了工具的有效性.

关键词: 数据库, 工作负载, 索引推荐

Abstract: Indexes play a pivotal role in improving the performance of queries. One of the important tasks of database administrators is to select appropriate indexes for databases. However, with the increasing complexity of database workloads, the rising amount of data volumes, and the gradually increasing number of tables, it has become more and more difficult to artificially analyze workload cost, select appropriate indexes, and estimate database spatial changes. This paper designs a load-oriented automatic indexing recommendation tool: CedarAdvisor. It collects workload automatically from logs and counts query frequency. First, it generates a candidate index for each query and then evaluates the respective revenue and cost of these candidates. Finally, it generates an indexing recommendation for the complete workload through a dynamic programming algorithm. We verify the effectiveness of the tool through experiments on the distributed database.

Key words: database, workload, index recommendation

中图分类号:

TP392

阳文灿, 胡卉芪, 段惠超, 胡耀艺, 钱卫宁. CedarAdvisor: 负载自适应的自动化索引推荐工具[J]. 华东师范大学学报（自然科学版）, 2020, 2020(6): 52-62.

YANG Wencan, HU Huiqi, DUAN Huichao, HU Yaoyi, QIAN Weining. CedarAdvisor: A load-adaptive automatic indexing recommendation tool[J]. Journal of East China Normal University(Natural Science), 2020, 2020(6): 52-62.

参考文献

[1] GANTZ J, REINSEL D. The digital universe in 2020: Big data, bigger digital shadows, and biggest growth in the far east [EB/OL]. [2020-05-22]. https://www.emc.com/leadership/digital-universe/2012iview/index.htm.
[2] KAO K F, LIAO I E. An index selection method without repeated optimizer estimations [J]. Information Sciences, 2009, 179(13): 2263-2272
[3] CHAUDHURI S, NARASAYYA V. AutoAdmin “what-if” index analysis utility [C]//Acm Sigmod International Conference on Management of Data. ACM, 1998.
[4] CHAUDHURI S, NARASAYYA V R. Microsoft index tuning wizard for SQL server 7.0 [C]//Proceedings ACM SIGMOD International Conference on Management of Data, 1998.
[5] AGRAWAL S, CHAUDHURI S, KOLLAR L, et al. Database tuning advisor for microsoft SQL server 2005: Demo [C]// Acm Sigmod International Conference on Management of Data. ELSEVIER, 2005.
[6] CHAUDHURI S, NARASAYYA V. An Efficient, Cost-Driven Index Selection Tool for Microsoft SQL Server [C]// International Conference on Very Large Data Bases. [S.l.]: Morgan Kaufmann Publishers Inc, 1997.
[7] LOHMAN G M, LIGHTSTONE S. SMART: Making DB2 (more) autonomic [C]// Proc of the 28th International Conference on Very Large Data Bases. [S.l.]: VLDB Endowment, 2002: 877-879.
[8] VALENTIN G, ZULIANI M, ZILIO D C, et al. DB2 advisor: An optimizer smart enough to recommend its own indexes [C]// Proceedings of 16th International Conference on Data Engineering (Cat. No.00CB37073). IEEE, 2002.
[9] ZILIO D C, RAO J, LIGHTSTONE S, et al. DB2 design advisor: Integrated automatic physical database design [C]//Proceedings of the 30th Annual International Conference on Very Large Data Bases, 2004: 1087-1097.
[10] XIAOMI. SOAR [EB/OL]. [2020-05-22]. https://github.com/XiaoMi/soar.
[11] Data Science & Engineering, East China Normal University. CEDAR. [EB/OL]. [2020-05-22]. https://github.com/daseECNU/Cedar/.
[12] LAHDENMÄKI T, LEACH M. Relational Database Index Design and the Optimizer [M]. [S.l.]: John Wiley & Sons, Inc, 2005: 47.
[13] The PostgreSQL Global Development Group. PostgreSQL [EB/OL]. [2020-05-22]. https://www.postgresql.org/.
[14] TPC. TPC-DS [EB/OL]. [2020-05-22]. http://www.tpc.org/tpcds/.

[1]	项兆坤, 陈婷, 苏仟, 张蓉. 面向OLAP数据库查询处理功能的模糊测试工具[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 74-83.
[2]	刘文欣, 蔡鹏. 多主数据库中基于分区的并发控制[J]. 华东师范大学学报（自然科学版）, 2021, 2021(5): 84-93.
[3]	卫孝贤, 刘文欣, 蔡鹏. 多主云数据库的全局事务日志[J]. 华东师范大学学报（自然科学版）, 2020, 2020(5): 10-20.
[4]	刘子豪, 胡卉芪, 徐瑞, 周烜. 基于LevelDB的二维数据二级索引实现[J]. 华东师范大学学报(自然科学版), 2019, 2019(5): 159-167.
[5]	黄皓, 李志方, 王嘉伦, 翁楚良. 基于GPU的关系型流处理系统实现与优化[J]. 华东师范大学学报(自然科学版), 2019, 2019(5): 178-189.
[6]	张涛, 张小磊, 李宇明, 张春熙, 张蓉. Woodpecker+:基于数据特征的自定义负载性能评测[J]. 华东师范大学学报(自然科学版), 2019, 2019(5): 190-202.
[7]	俞文谦, 胡爽, 胡卉芪. 面向Cedar的列存储设计与实现[J]. 华东师范大学学报(自然科学版), 2018, 2018(5): 67-78.
[8]	黄建伟, 张召, 钱卫宁. 分布式日志结构数据库系统的主键维护方法研究[J]. 华东师范大学学报(自然科学版), 2018, 2018(5): 79-90,119.
[9]	赵春扬, 肖冰, 郭进伟, 钱卫宁. 一致性协议在分布式数据库系统中的应用[J]. 华东师范大学学报(自然科学版), 2018, 2018(5): 91-106.
[10]	王彦朝, 胡卉芪, 张召, 刘小兵, 段惠超. 数据存储与处理分离架构下的子链接消除及优化[J]. 华东师范大学学报(自然科学版), 2018, 2018(4): 90-98.
[11]	李捷荧, 李宇明, 张小磊, 张蓉. Woodpecker:支持细粒度冲突模拟的数据库测试框架[J]. 华东师范大学学报(自然科学版), 2018, 2018(2): 77-88.
[12]	邱鑫, 林欣. 两种新的非确定数据库上的Top-k查询[J]. 华东师范大学学报(自然科学版), 2017, 2017(1): 52-63.
[13]	储佳佳, 郭进伟, 刘柏众, 张晨东, 钱卫宁. 高可用数据库系统中的分布式一致性协议[J]. 华东师范大学学报(自然科学版), 2016, 2016(5): 1-9.
[14]	胡爽, 周欢, 钱卫宁. 内存数据库事务提交的关键技术与挑战[J]. 华东师范大学学报(自然科学版), 2016, 2016(5): 18-26.
[15]	赵镇辉, 黄承晟, 周敏奇, 周傲英. 分布式内存数据库系统的容错管理[J]. 华东师范大学学报(自然科学版), 2016, 2016(5): 27-35.

CedarAdvisor: 负载自适应的自动化索引推荐工具

CedarAdvisor: A load-adaptive automatic indexing recommendation tool

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价