华东师范大学学报(自然科学版) ›› 2014, Vol. 2014 ›› Issue (5): 117-132.doi: 10.3969/j.issn.10005641.2014.05.010

• 计算机科学与技术 • 上一篇    下一篇

内存数据仓库集群技术研究

张延松1,2,3，王珊1,2，周烜1,2   

  1. 1. 中国人民大学 DEKE实验室， 北京，100872； 2. 中国人民大学 信息学院，北京。100872； 3. 中国人民大学 中国调查与数据中心，北京，100872
  • 出版日期:2014-09-25 发布日期:2014-11-27
  • 作者简介:第一作者：张延松，男，博士后，讲师，研究方向为内存数据库、OLAP
  • 基金资助:

    中央高校基本科研业务费专项资金(12XNQ072, 13XNLF01)

Research on in memory data warehouse cluster technologies

 ZHANG  Yan-Song1,2,3 ,WANG  Shan1,2, ZHOU  Hui1,2   

  1. 1. DEKE Lab, Renmin University of China, Beijing,100872, China;
    2. School of Information, Renmin University of China, Beijing,100872, China;
    3. National Survey Research Center at Renmin University of China, Beijing,100872, China
  • Online:2014-09-25 Published:2014-11-27

PDF

2394

摘要： 随着硬件的集成度不断提高，多核处理器和大内存成为当前主流的计算平台，内存计算也成为新兴的高性能数据分析平台.内存数据仓库集群技术面向高性能分析计算，是实现大数据实时分析的基础平台.本文概括地介绍了中国人民大学高性能数据库团队在内存数据仓库集群技术方面的研究工作，包括：以列分布和列计算服务为中心的ScaMMDB内存数据仓库集群，以水平分片、并行计算为中心的ScaMMDBⅡ和reversestar schema分布、集群向量计算为特征的MiNTOLAP Cluster等技术的研究发展过程.分析了内存数据仓库集群技术的关键问题及技术挑战，并针对新的内存数据仓库集群应用需求展望未来技术的发展.

关键词: 内存数据仓库, 集群, 向量计算

Abstract: With the development of hardware integration techniques, multicore processor and big memory come to be main stream configuration and inmemory computing comes to be the emerging high performance data analytical platform. In memory data warehouse cluster technologies target high performance analytical computing, and it will be the basic platform for big data real time analytical processing. This paper briefly introduces the research work on inmemory data warehouse cluster of Renmin University high performance database research group, including the developments of column distribution and column computing service oriented ScaMMDB cluster, horizontal partition and parallel computing oriented ScaMMDBII, and reverse star schema distribution and cluster vector computing oriented MiNTOLAPCluster technologies. The critical issues and technical challenges are also presented in this paper. Finally, we give a prospective discussion on future technologies for the coming in memory data warehouse cluster requirements.

Key words: in memory data warehouse, cluster, vector computing

中图分类号: