针对基于日志结构合并树(Log Structured Merge Tree, LSM-tree)的数据库查询性能较差的问题, 目前的研究工作主要集中在利用索引和缓存技术提升LSM-tree的查询性能. 本文主要从以下几个方面对LSM-tree的查询优化技术进行了综述. 第一, 介绍了LSM-tree的基础架构, 分析了影响查询的因素. 第二, 分析了当前的LSM-tree查询优化技术, 包括索引优化技术和缓存优化技术. 第三, 分析了索引和缓存技术是如何提升基于LSM-tree的数据库查询性能的, 并总结了一些现有的研究工作. 最后, 总结并给出了未来可能的研究方法.
大数据时代, 存储计算架构分离的单写多读场景已无法满足海量数据的高效读写需求; 另一方面, 多个计算节点同时提供写服务还会引起计算节点间的缓存不一致. 已有的研究采用全局有序的事务日志来进行冲突检测, 并通过广播和回放事务日志维护整个系统的数据一致性. 但该类方案由于是在每个写节点维护全局写日志, 可扩展性较差. 针对这些问题, 提出了一个基于分区的并发控制方案: 通过分区的方式降低每个写节点需要维护的事务日志, 以有效提升系统的扩展能力. 基于此想法, 在MySQL上实现了分区多主插件, 并通过实验验证了该解决方案对系统性能的影响.
查询处理是现代关系型数据库管理系统(DBMS)中最重要的功能之一, 主要包括查询优化和查询执行. 然而查询处理的复杂性导致了测试的高成本, 阻碍了开发过程中的快速迭代, 并可能在生产环境中导致严重错误. 为了更好地服务于DBMS查询处理功能的评测, 采用模糊测试的方法生成基于主键约束的随机数据和完全有效的复杂分析型查询; 构建约束优化, 对查询中算子的精确基数进行高效计算, 从而获得查询的正确结果; 最后实现了完整的工具. 通过对TiDB的不同版本进行了小规模的测试, 结果表明可以有效地检测出TiDB不同版本的一些Bug.
作为一种去中心化的分布式账本, 区块链被广泛应用于互不可信的多方之间共享数据. 相比于发展多年的传统数据库, 区块链存在无法支持丰富查询、对外提供查询接口单一和查询响应慢的问题. 简单的组织结构和离散的存储方式是限制交易数据表达的主要原因. 为了弥补现有区块链系统的不足, 构建抽象模型、封装易于使用的接口以及提升查询效率是实现基于区块链的高效应用开发的主要方式. 鉴于此, 提出一种面向区块链的通用数据管理中间件, 具有如下特征: ①支持自定义构建数据模型, 灵活地为交易数据抽象新模型; ②提供多种数据访问接口支持丰富查询并采用同步缓存机制等优化方式提升查询效率; ③设计提前哈希计算和异步批处理策略优化交易的延迟和吞吐. 提出的数据管理中间件已集成于开源区块链CITA中, 并通过实验验证其易用性与高效性.
区块链系统采用全复制的数据存储机制, 为每个节点保留整个区块链的完整副本, 系统扩展性差. 同时由于区块链系统中拜占庭节点的存在, 导致传统分布式系统中使用的分片方案不能被直接应用于区块链系统中. 本文结合纠删码和拜占庭容错算法, 使每个区块的存储消耗由 $ O\left(n\right) $ 降到 $ O\left(1\right) $ , 增强了系统的可扩展性. 本文还提出了对区块数据进行划分的方法, 在降低存储冗余的同时减小对查询效率的影响. 提出了无需网络通信的编码块存储方法, 降低了系统存储和通信开销. 还提出了区块链节点加入和退出的动态重编码方法, 既保证系统的稳定性, 又降低了系统重编码开销. 最后, 在开源区块链系统CITA上实现, 并通过充分的实验, 证明系统可扩展性、可用性和存储效率提升.
随着大数据时代的到来, 金融行业产生的数据越来越多, 对数据库的压力也越来越大. LevelDB是谷歌开发的一款基于LSM-tree架构的键值对数据库, 有写入快和占用空间小的优点, 被金融行业广泛应用. 针对LSM-tree架构的写停顿、写放大、对读不友好等缺点, 提出了一种基于非易失性内存和机器学习的L0层的设计方法, 能够减缓甚至解决上述问题. 实验结果表明, 该设计能够实现较好的读写性能.
中国综合性科技类核心期刊(北大核心)
