成果名称: 云平台下大数据高速计算环境自动部署关键技术研究及示范应用
完成单位: 三盟科技股份有限公司,华南师范大学
主要人员: 罗龙,黄晋,朱佳,李建国,黄昌勤,刘海,傅城州,黄琼浩,曾伟铨,钟金顺,伍剑,肖旋,李强,王晓嘎,王鹿苑,梁俊龙,刘坤锐 等23人
介绍:

    一、课题来源与背景 云计算是“互联网+”时代信息基础设施与应用服务模式的重要形态,是新一代信息技术集约化发展的必然趋势;大数据则已渗透到各个行业的生产领域,大数据的演进与生产力的提高有着直接的关系。大数据的生产环境,离不开云计算平台的支撑——云计算平台为大数据提供弹性可拓展的基础设备。然而,大数据和云计算两者的技术领域和技术特点存在差异,无法有效融合在一起,经常被割裂对待。 本成果研究云计算环境下业务运行状态评估算法、大数据产品统一接口规范和组件封装标准、大数据节点最优分布算法、虚拟安全容器等关键技术,在云计算环境上构建可视化的业务系统视角管理业务,支持大数据环境的自动部署的业务管理,能够实现对虚拟化资源进行有效的监控管理与报表数据分析,为用户构建资源调度灵活、智能弹性管理、应用快速部署、统一安全防护的云计算平台。本课题实现云计算、大数据、信息安全的充分融合,可广泛应用于教育、政府等行业,对我国落实“互联网+”行动计划起到积极推动作用。

    二、技术原理及性能指标 本课题在云计算环境上构建可视化的业务系统视角管理业务,支持大数据环境的自动部署的业务管理,实现对虚拟化资源进行有效的监控管理与报表数据分析,为用户构建资源调度灵活、智能弹性管理、应用快速部署、统一安全防护的云计算平台。项目围绕着业务运行状态评估算法、数据产品统一接口规范和组件封装标准、大数据节点最优分布算法、云安全组件等关键技术形成了基于大数据环境的业务运行状态评估算法、基于虚拟交换网络的虚拟安全域的划分方法、基于大数据环境的业务运行状态评估算法、基于虚拟机性能实现业务动态伸缩的方法及系统、基于大数据环境下的云计算业务资源计算方法、基于大数据和云计算业务下的智能监控方法、基于云计算环境下的应用引擎的管理方法、云平台内存优化方法等8种算法和方法,发表论文6项,获得软件著作权3项,形成企业标准规范2项,培养人才13人,新增就业21人。

    三、技术的创造性与先进性 1、从用户管理的实际需求出发,构建层次化的业务资源 以业务视角构建层次化的管理视图,在后端数据库进行数据存储时,引入列存存储技术,提升整个数据读取的性能。 2、为大幅提高用户对于大数据生产环境的部署和管理效率,构建大数据组件的自动部署和图形化操作视图 利用图形化的管理视图,将各个大数据组件按照预设的条件设置,自动化进行部署,并可以基于监测情况动态调整部署环境。 3、以中间件的思想,屏蔽不同大数据产品之间接口的的差异性,实现大数据产品统一接口规范和云平台组件封装技术标准 建立大数据操作接口的中间层,把各个大数据产品(如Hive、Hbase、MongoDB、Redis等)常用操作抽象成统一的接口层,制定统一规范,为不同的大数据产品实现相同的接口将大数据生产环境节点封装成云平台的组件。并且以图形化的形式显示,提供统一的部署,监控和操作页面视图,方便自动化部署或手工操作。 4、实现多个数据中心的统一管理,简化数据中心的管理工作量 通过云管理平台可以把不同版本的虚拟数据中心统一接管,管理不同版本的虚拟数据中心的时候可以在云管理平台上统一完成,大幅度的降低了数据中心的管理工作量。

    四、技术的成熟程度、适用范围和安全性 根据不同行业用户的特点,针对教育、政府等实际应用需求调研,将行业特点融入到产品功能特性上,形成一个统一云管理平台,不仅实现业务可视化管理,简化管理模式,而且资源使用弹性透明,行为可管可控,重点支持大数据环境管理和安全管理,推动应用实现自动化部署,助力业务高效安全运行,云管理平台在虚拟机管理、弹性计算应用接口规范化上满足国家标准。在教育和政府行业方面,项目成果云管理平台以及大数据实训平台,已获得多家用户的一致认可,实现开放的服务运营模式,提升信息化建设价值。

    五、应用情况及效益分析 近年来虚拟化技术和云计算技术逐渐成熟,对云的管理也需要具有简单便捷的管理平台,方便对云资源的进行统一的管理、监控、调度;在全球信息化快速发展的大背景下,大数据已成为国家重要的基础性战略资源,正引领新一轮科技创新;本项目融合两方面的优势,在云平台下大数据高速计算环境自动部署,即提升云平台应用部署速度和安全保障,又可实现大数据环境资源的监控和管理,具有广阔的市场空间。在项目实施期内为广东工业大学、广东海洋大学、江苏师范大学、西安交通大学等20 家单位提供相关产品和服务,实现相关产值3651.14 万元,累计利税818.69 万元。

     六、历年获奖情况 三盟科技满足符合国际标准和国家标准的私有云基础设施服务能力,通过CMMI认证并获得《云计算服务能力标准符合性证书》,参与云计算标准体系的研究和具体标准的制定工作,参与构建我国云计算标准体系框。该项目荣获广东省计算机学会科学技术奖三等奖,带动企业入选为《广东省云计算应用试点项目单位》。

批准登记号:
登记日期: 2019-05-21
研究起止时间: 2016-01-01至2017-12-31
所属行业: 教育
所属高新技术类别: 电子信息
评价单位名称: 广东省科学技术厅
评价日期: 2018-06-21