栏目文章

Select

分布式数据库系统中的并行分组聚合实现

徐石磊, 魏星, 江红, 钱卫宁, 周傲英

华东师范大学学报(自然科学版) 2018, 2018 (5): 56-66. DOI: 10.3969/j.issn.1000-5641.2018.05.005

摘要（438）

HTML （11）

PDF （1950KB）（604）

伴随着新型互联网应用中对数据统计、分析需求的增大，分组、聚合已经成为数据分析应用中出现频率最多的请求之一.本文就类OLAP（on-line transactionprocessing）应用中常见的Aggregation、GroupBy原理进行了分析.针对一般事务型数据库采用排序分组的缺点，提出了两种Hash分组聚合的具体实现方案，并提出一种利用统计信息动态决策Hash桶数、Hash分组聚合方案的策略.根据分布式数据库多副本的特点，本文又提出了一种Hash分组聚合节点级的并行方案.最后，在开源数据库OceanBase进行了具体的实现.通过实验证明，本文提出的利用统计信息动态决策Hash分组聚合方案相比排序分组具有极大的效率提升.

参考文献 | 相关文章 | 多维度评价

Select

面向Cedar的列存储设计与实现

俞文谦, 胡爽, 胡卉芪

华东师范大学学报(自然科学版) 2018, 2018 (5): 67-78. DOI: 10.3969/j.issn.1000-5641.2018.05.006

摘要（409）

HTML （11）

PDF （1692KB）（594）

随着数据规模和分析需求的日益增长，数据库面向联机分析处理（On-Line Analytical Processing，OLAP）应用的查询性能变得愈发重要.Cedar是一款基于读写分离架构的分布式关系数据库，由于它主要面向联机事务处理（On-Line Transaction Processing，OLTP）业务，在面对分析处理负载时性能表现不足.对于这个问题，很多研究表明列存储技术能够有效地提高I/O（Input/Output）效率，进而提升分析处理的性能.在Cedar上提出了一种列存储机制，分析了其适用场景并针对这种机制改进了Cedar的数据扫描和批量更新方法.实验结果表明，该机制能大幅度地提升Cedar分析处理性能，并且对事务处理性能的影响控制在10%以内.

参考文献 | 相关文章 | 多维度评价

Select

分布式日志结构数据库系统的主键维护方法研究

黄建伟, 张召, 钱卫宁

华东师范大学学报(自然科学版) 2018, 2018 (5): 79-90,119. DOI: 10.3969/j.issn.1000-5641.2018.05.007

摘要（1068）

HTML （11）

PDF （1197KB）（432）

目前在电子商务、社交网络、移动互联网等各类应用中存在大量的写密集型负载（例如，电子商务的秒杀活动、社交用户生成的数据流等），这使得基于日志结构的存储成为现代数据库系统中普遍的后端存储方式.而基于日志结构的数据存储方式一般只支持追加操作，高效的主键维护（主键的生成和更新）可以很好地提升数据库追加操作的性能.此外，在分布式和并发的环境中实现主键维护功能还要面临主键唯一性约束、事务性维护、高处理性能的挑战.因此，本文针对日志结构数据存储的特点，研究了如何在分布式日志结构数据库系统中实现高效的主键维护功能.首先，我们提出了两类先读后写操作的并发控制模型；其次，我们应用这两类模型设计了几种高效的主键维护算法；最后，我们在自己的基于日志结构的分布式数据库系统CEDAR中实现了本文提出的主键维护方法，并通过一系列实验验证了所提方法的高效性.

参考文献 | 相关文章 | 多维度评价

Select

一致性协议在分布式数据库系统中的应用

赵春扬, 肖冰, 郭进伟, 钱卫宁

华东师范大学学报(自然科学版) 2018, 2018 (5): 91-106. DOI: 10.3969/j.issn.1000-5641.2018.05.008

摘要（422）

HTML （10）

PDF （1419KB）（480）

近年来分布式数据库产品层出不穷，但分布式数据库较于单机数据库更复杂，为了让系统可用，设计者需要采用一致性协议来保证分布式数据库系统中的可用性和一致性这两个重要特性.保证一致性需要使用一致性协议为并发的事务更新操作确定一个全局的执行顺序，并协调局部状态和全局状态不断的达成动态一致；保证可用性需要一致性协议协调多副本之间的一致来实现主备节点的无缝切换.因此分布式一致性协议是实现分布式数据库系统的重要基础.详细介绍了经典的分布式一致性协议以及在目前常见的几种分布式数据库系统中一致性协议的应用，并从读写操作、节点类型与网络通信等方面进行对比分析.

参考文献 | 相关文章 | 多维度评价

Select

新型OLTP系统的技术与实践

贺小龙, 马海欣, 何毓锟, 庞天泽, 赵琼

华东师范大学学报(自然科学版) 2018, 2018 (5): 107-119. DOI: 10.3969/j.issn.1000-5641.2018.05.009

摘要（475）

HTML （10）

PDF （1174KB）（484）

自20世纪70年代以来，硬件已经得到了巨大的发展，高性能服务器大多数配备TB级的容量、数十个物理核.然而，传统的事务型系统仍旧是基于磁盘存储，运行在物理核数较少的硬件环境上，无法有效地、充分地利用新硬件的运算能力.另一方面，随着互联网的发展，应用对事务型系统的性能有了更高的要求.部分应用在极端情况下需要服务百万甚至千万的并发访问，然而传统的数据库系统并不能支撑这些高并发、高吞吐率的应用.因此，在高性能硬件上重新设计与实现事务型数据库系统已成为重要的研究热点.本文将重点介绍在大内存、多核环境下，事务型数据库系统在各个方面最新的研究工作，并结合开源数据库系统OceanBase，综合介绍新型OLTP（on-lineanalytical processing）系统的设计.

参考文献 | 相关文章 | 多维度评价

高性能数据库管理 栏目所有文章列表

高性能数据库管理栏目所有文章列表