标题:面向实时ROLAP应用的并行处理方法
作者:何伟;崔立真;李保栋;
作者机构:[何伟;崔立真;李保栋]山东大学计算机科学与技术学院
会议名称:第29届中国数据库学术会议(NDBC2012)
来源:第29届中国数据库学术会议论文集(B辑)(NDBC2012)
出版年:2012
关键词:实时数据仓库;联机分析处理;并行处理;MapReduce
摘要:实时OLAP对数据装载与更新、查询分析性能等方面具有更高的敏感性,面向DBMS的数据ETL和复杂SQL查询,提出了一种轻量级并行处理方法,即通过并行ETL过程将大规模、高维度事实表按照特定策略分布于多个数据节点,并基于多数据节点实现MDX多维查询分析的并行处理.采用Hadoop MapReduce编程模型,基于开源OLAP引擎Pentaho Mondrian实现,并通过实验及一个实时数据仓库商业项目进行了验证.结果表明,能够有效减轻DBMS节点的查询、计算和数据装载压力,明显提高基于大规模、高维度事实表的MDX查询和数据ETL性能.
资源类型:会议论文
原文链接:http://kns.cnki.net/kns/detail/detail.aspx?FileName=ZJSS201210001019&DbName=CPFD2012
TOP