栏目文章

Select

基于持久化内存和共享缓存架构的高性能数据库

王聪聪, 胡卉芪

华东师范大学学报（自然科学版） 2023, 2023 (5): 1-10. DOI: 10.3969/j.issn.1000-5641.2023.05.001

摘要（174）

HTML （23）

PDF （1228KB）（94）

云原生数据库的崛起, 使得共享缓存架构再度受到重视. 虽然共享缓存架构能够有效地解决多个读写节点间的缓存一致性问题, 但其他问题仍然存在, 例如持久化速度缓慢、维护缓存目录的延迟高、时间戳瓶颈等. 针对上述问题, 提出了一种基于共享缓存架构, 并结合新型硬件—持久化内存的解决方案, 从而构建了一个包括内存层、持久化内存层、存储层的三层共享架构数据库—TampoDB. 基于此架构, 重新设计了事务的执行流程, 并对时间戳和目录进行了优化, 以解决上述问题. 实验结果表明, TampoDB有效地提高了事务的持久化速度.

图表 | 参考文献 | 相关文章 | 多维度评价

Select

数据同步机制自适应优化的HTAP数据库原型系统

俞融, 杨攀飞, 王清帅, 张蓉

华东师范大学学报（自然科学版） 2023, 2023 (5): 11-25. DOI: 10.3969/j.issn.1000-5641.2023.05.002

摘要（134）

HTML （5）

PDF （2638KB）（46）

在HTAP (hybrid transactional and analytical processing)数据库中, 资源隔离和数据共享是一个难题, 虽然不同厂商通过不同的架构来实现资源隔离, 但是用户关注的新鲜度, 即OLTP (online transaction processing)和OLAP (online analytical processing)读写版本的差距, 由数据共享的一致性模型决定. 然而, 现有的HTAP数据库为了节约成本, 只应用单一一致性同步模型, 这与用户应用的多种一致性需求之间存在矛盾, 为了满足用户需求的最高一致性而采取向上兼容的方案降低了系统的整体性能. 通过构建新鲜度与性能权衡的代价模型, 提出了一致性切换算法和切换前后同步数据的处理策略, 实现了一个顺序一致性同步与线性一致性同步自适应切换的HTAP数据库原型系统, 使得无需调整HTAP架构, 即可支持不同一致性(新鲜度)需求的查询负载并实现系统性能的最大化, 最后对自适应切换的有效性也进行了实验验证.

图表 | 参考文献 | 相关文章 | 多维度评价

Select

面向存算分离架构的混合粒度缓存策略

梅文娟, 蔡鹏

华东师范大学学报（自然科学版） 2023, 2023 (5): 26-39. DOI: 10.3969/j.issn.1000-5641.2023.05.003

摘要（117）

HTML （7）

PDF （1669KB）（65）

存储计算分离方案已成为一种提高大规模数据处理性能及效率的系统架构, 但其存储层的访问效率低、网络开销大、对小文件不友好, 存在着极大的性能瓶颈. 基于MergeTree的数据库ClickHouse在数据存储过程中会产生很多小文件. ClickHouse和S3存算分离方案中文件粒度固定的SSD (solid state driver)缓存区不仅和内存数据不匹配, 还会造成缓存区空间浪费. 提出了一种面向存算分离架构的缓存管理方案HG-Buffer (hybrid granularity buffer), 旨在优化ClickHouse和S3的存储计算分离方案以及对象存储的小文件问题, 以提高缓存空间的利用率, 从而提高系统访问效率. HG-Buffer通过将SSD作为计算层和存储层之间的缓存层, 并将 SSD 缓冲区组织成两个粒度的缓冲区来实现: 对象缓冲区和块缓冲区。对象缓存粒度是对象存储中的数据粒度; 而块缓存粒度是系统访问数据的数据粒度, 其中块缓存粒度是对象缓存粒度的子集. HG-Buffer通过统计数据热度信息, 自适应地选择数据存储的位置, 以提高SSD空间的利用率, 从而提高系统性能. 在ClickHouse和S3上进行的实验评估证明了HG-Buffer的有效性和稳健性.

图表 | 参考文献 | 相关文章 | 多维度评价

Select

存算分离架构下Part元数据的单独管理策略

刘丹琪, 蔡鹏

华东师范大学学报（自然科学版） 2023, 2023 (5): 40-50. DOI: 10.3969/j.issn.1000-5641.2023.05.004

摘要（90）

HTML （5）

PDF （1081KB）（31）

针对ClickHouse存在的硬件资源无法被充分利用、缺少弹性和节点启动过慢的问题, 在存算分离架构下, 提出了一套针对描述数据信息的元数据 (Part元数据) 的管理策略. Part元数据是元数据中最重要的组成成分. 为了能够有效管理远程共享存储上的数据, 采集了所有Part元数据文件, 并将其合并后, 经过键值映射、序列化和反序列化, 存入分布式键值数据库中. 此外, 还设计了一套同步策略, 以确保远程共享存储上的数据与分布式键值数据库中的元数据的一致性. 利用Part元数据管理策略及相关的同步策略, 实现了一个针对Part元数据的管理系统, 解决了ClickHouse节点启动过慢的问题, 并支持高效的节点动态扩缩容.

图表 | 参考文献 | 相关文章 | 多维度评价

Select

基于模糊测试生成多样化的数据库隔离级别测试案例

卢皙钰, 刘维, 翁思扬, 李可强, 张蓉

华东师范大学学报（自然科学版） 2023, 2023 (5): 51-64. DOI: 10.3969/j.issn.1000-5641.2023.05.005

摘要（90）

HTML （3）

PDF （2266KB）（76）

在现代信息系统中, 数据库管理系统扮演着至关重要的角色. 隔离级别测试对数据库管理系统而言具有重要意义, 它确保并发操作的隔离性和数据的一致性, 从而防止数据损坏和安全风险的发生, 并为用户提供可靠的数据访问保障. 模糊测试是一种广泛应用于软件和系统测试的方法, 通过搜索测试空间并生成多样化的测试案例, 探索系统的边界条件、异常情况和潜在问题, 以发现可能的漏洞. 本文介绍了针对数据库隔离级别进行模糊测试的工具SilverBlade, 旨在提升生成测试案例的多样性, 深入探索隔离级别测试空间. 为了有效搜索庞大的测试空间, 设计了结构化的测试输入结构, 将测试空间拆分成并发事务组合和并发事务执行交互模式两个子空间进行搜索. 为了更全面地测试隔离级别核心实现测试空间, 还设计了基于深度和广度的自适应搜索方式, 用于有效变异测试案例. 实验结果表明, SilverBlade能够生成多样性的测试案例, 并能够在流行的数据库管理系统PostgreSQL中更广泛地覆盖数据库隔离级别核心实现代码. 与对比工具相比, SilverBlade在提高隔离级别关键区域的测试覆盖率方面表现更佳.

图表 | 参考文献 | 相关文章 | 多维度评价

数据库系统 栏目所有文章列表

数据库系统栏目所有文章列表