| 成果名称: | 面向三旧改造的多源异构大数据管理分析与挖掘研究 |
| 完成单位: | 华南农业大学,大连理工大学,广州市香港科大霍英东研究院 |
| 主要人员: | 胡月明,陈志奎,李波,薛月菊,王秀坤,梁云,王栋,谭浩宇,夏锋,赵元 |
| 介绍: | 本项目致力于研究面向多源异构大数据的数据管理和挖掘的基础理论与关键机制。主要解决基于多源异构大数据的管理与挖掘问题,需要在数据存储、数据索引访问、数据实时性快速计算、模式挖掘等方面提出新的思路,以突破数据管理和挖掘所面临的挑战,以解决数据存储的大规模与并行处理的高效性之间的矛盾、数据处理需求的多样性与数据处理机制的高效、简单、可靠之间的矛盾,实现高效、可靠、低成本的大规模土地数据处理。基于项目研究成果搭建了大数据云平台,开发了三旧改造示范应用系统。选定顺德区、深圳市作为示范应用区,分别应用本项目所取得研究成果开展三旧改造的潜力评价示范工作,为三旧改造评价提供有效的决策支持。 总共发表论文 88 篇,其中 SCI 论文 60 篇,本领域顶级期刊 23 篇。获得或申请专利 26 项,取得软件著作权 16 项,培养人才共计 32 名。 针对项目研究内容,本项目获得的主要成果包括: (1) 面向多源异构大数据的分布式数据存储构架与高效索引机制 研究了基于 SimRank 的图顶点关联方法、针对 RDF 图节点幂率性的平衡分割算法以及针对不断变化数据的增量分割算法等高效可伸缩的分布式数据存储架构方法;研究了基于重要顶点的多源异构数据索引、同质图索引、基于路径分割的可扩展双层存储和索引方案。 (2) 基于智能调度机制与内存计算的大数据实施并行计算模型 研究了面向大数据特征学习的深度计算模型、支持数据安全保护的深度计算模型,以及基于内存计算的分布式实时计算模型。 (3) 多源异构大数据模式挖掘研究 研究了基于深度语义匹配的不完整多模态数据融合算法、无监督多模态特征共学习算法、基于实例迁移学习的土地数据挖掘方法以及三旧改造大数据挖掘方法。 (4)多源异构大数据管理分析与挖掘技术验证及三旧改造应用示范 通过调研、协调等工作选定了示范区,获取示范区的业务数据、科学数据;验证了基于深度学习、迁移学习等数据挖掘方法,从多源异构遥感影像中提取建设用地信息;构建了网络爬虫工具,抓取互联网开放数据。验证了多模态数据融合算法,填充缺失数据,提升数据质量;构建了空间知识推理模型基于样本点数据预测空间数据;整合三旧改造数据,建立分布式存储的数据库。基于 Hadoop的分布式处理环境及 MapReduce 架构搭建大数据云平台,实现了基础机器学习算法的集成,开发了三旧改造示范应用系统。对珠江三角洲地区宏观的建设用地特征进行了分析,选定顺德区、深圳市作为示范应用区,分别应用本项目所取得研究成果开展三旧改造的潜力评价示范工作。 |
| 批准登记号: | |
| 登记日期: | 2020-05-15 |
| 研究起止时间: | 2014-01-01至2017-12-31 |
| 所属行业: | 公共管理、社会保障和社会组织 |
| 所属高新技术类别: | 电子信息 |
| 评价单位名称: | 国家自然科学基金委员会 |
| 评价日期: | 2018-03-13 |
