请选择 进入手机版 | 继续访问电脑版
当前位置: 首页» 产品介绍» 经典案例»广西移动大数据平台项目——混合架构助力经营分析系统

广西移动大数据平台项目——混合架构助力经营分析系统

2017-10-11 14:52| 查看: 308

项目背景

   广西移动用户与业务不断发展,经分系统的数据量与日俱增。在这种背景下,为满足不断扩展的数据量和业务量要求,广西移动决定对其NGBASS系统进行云化改造。通过使用HadoopMPPx86云化技术,实现经营分析系统的去IOE化,以达到快速处理大规模的数据,系统有能力持续的扩容等目的。

需求分析

    广西移动的需求在于:使用目前比较成熟的云化技术,将原有经分系统使用小型机处理的各类数据完全放到x86平台上处理。随着业务的不断发展,对今后4G的统计分析将全部使用云化平台处理,届时需要对云化平台进行在线扩容。

解决方案

     广西移动的数据量非常庞大,每天的新增数据在1TB以上。整体解决方案使用了87x86服务器作为计算节点搭建了一个GBase 8a MPP Cluster集群,GCluster/GCWare11个节点集群,GNode76个节点集群,目前总数据量为610TB

在底层使用了Hadoop平台作为ETL系统,将BOSS、客服、网站等接口数据先入到Hadoop平台中,在其内进行数据清洗转换。数据在Hadoop平台上也进行少量的汇总工作,将ODS层的数据放到Hadoop平台上进行汇总,减轻数据仓库的压力。

GBase 8a MPP Cluster构成的数据仓库,不仅承担了整个数据仓库的所有模型建立、数据汇总等工作,也承担了数据集市的功能。外部用户可以访问集群,对有权限的数据进行自助访问和分析。

价值体现

  高性能:入库、汇总、查询速度比传统数据库提升10-20倍;

  与Hadoop整合:易与Hadoop平台进行接口,快速的进行数据交换;

  低投高效:GBase 8a MPP Cluster平台的建立,成本仅仅是相同计算能力小型机成本的1/10

返回顶部