| 成果名称: | 高性能自主可控金融大数据实时计算引擎研发及产业化 |
| 完成单位: | 深圳市证通电子股份有限公司,广东省农村信用社联合社,广州银行股份有限公司,广州巨杉软件开发有限公司,中山大学,湖南大学,广东工业大学 |
| 主要人员: | 曾胜强,纪军刚,戴一挥,阚建国,李斐,朱怀杰,唐卓,陈平华,余君,杨黎,张年舞,张奕武,吴云侠,林莹,王涛 等57人 |
| 介绍: | ①课题来源与背景:本课题来源于广东省省级科技计划项目“高性能自主可控金融大数据实时计算引擎研发及产业化”专项,解决当前金融行业面临的金融数据实时处理、风险控制和决策支持等核心技术瓶颈。随着大数据、人工智能以及区块链等技术的飞速发展,金融行业正在面临前所未有的数字化转型挑战。因此,本项目开发一套具有自主可控的高性能金融大数据实时计算引擎,满足金融机构在实时数据处理、金融风险监控和智能决策等方面的需求,为金融行业的数字化转型提供强有力的技术支撑。 ②技术原理及性能指标:该技术基于异构计算平台,采用分布式计算、深度学习以及实时流数据处理技术,构建了一个高性能、低延时的金融大数据实时计算引擎。其技术核心原理主要包括以下几个方面。 1.异构计算架构:该引擎通过结合CPU和GPU等异构处理器,充分发挥不同处理单元的优势,以提高数据处理的效率。GPU能够加速并行计算任务,适合处理大量数据,尤其是在深度学习模型训练和大规模数据分析中,GPU的加速效果尤为显著。 2.实时流数据处理:该技术能够处理金融行业产生的实时数据流,保证数据的高效传输和快速处理,尤其在金融交易、支付、证券等领域中,数据的实时性至关重要。通过基于流的计算框架和时间窗口算法,系统能够实时分析交易行为、识别潜在风险,并给出预警。 3.深度学习与预测模型:引擎内置了多种金融风险识别算法,基于深度学习和机器学习的增量训练模型,能够不断优化风险识别精度,并对未来趋势进行预测。 4.性能指标:该系统能够支持每秒数百万条交易数据的处理,且在金融交易中,响应时间小于50毫秒,满足金融机构对交易实时性的严格要求。集群TPS达到100万以上,单节点TPS达到5万以上,平均延迟保持在5毫秒以内,确保了系统的高效性和稳定性。 ③技术的创造性与先进性:该技术的创造性体现在以下几个方面。 1.自主可控的计算架构:该引擎使用了国产CPU和GPU的异构计算架构,这不仅提升了计算能力,还能够降低对国外技术的依赖,提高金融数据处理的自主性和安全性。 2.分布式深度学习风控模型:项目开发的分布式深度学习增量训练算法,能够在金融领域大数据的基础上进行自我学习与优化,不断提高风险识别的精准度,并能快速适应金融市场变化。 3.金融业务场景的精准适配:与传统的通用大数据处理平台不同,本项目特别针对金融行业的业务需求,定制了多个业务场景的处理框架,如实时风控、市场预测、客户行为分析等,确保了技术的高效性与行业适配性。 4.创新的实时数据处理能力:该技术能够在数百万数据流的情况下进行毫秒级处理,处理复杂的金融数据流并实时作出决策,填补了传统金融数据处理方案无法满足高实时性和高并发需求的技术空白。
④技术的成熟程度,适用范围和安全性:该技术在金融行业已有较为成熟的应用,并通过多个金融机构的实际测试与反馈,得到了行业的认可。系统的技术框架经过多轮优化,具有较高的稳定性和可扩展性,能够适应不同规模金融机构的需求。
适用范围:该技术不仅适用于银行、证券、保险等传统金融机构,还能够服务于新兴的金融科技公司,如P2P平台、互联网支付、数字货币交易平台等。通过定制化的服务,该技术能够适应各种金融业务场景,尤其在智能风控、实时数据分析和预测方面有着广泛的应用前景。 安全性:本技术采用了多重安全防护措施,包括数据加密、身份验证、访问控制等,确保了金融数据的安全性和隐私保护。系统基于国产硬件和自主研发的软件平台,避免了国外技术可能带来的安全隐患。 ⑤应用情况及存在的问题:该技术目前已在多个金融领域实现了初步应用,并取得了较好的效果。然而,在应用过程中也遇到了一些问题,主要体现在以下几个方面。1.数据源整合问题:由于金融数据源的多样性和复杂性,不同平台和机构的数据格式差异较大,数据的整合和标准化处理仍然面临一定的挑战。 2.技术升级与维护:随着金融市场和技术的不断变化,实时计算引擎的算法和框架需要不断升级与优化,以确保其能够应对未来的新需求。 3.市场推广难度:尽管技术具备了较强的应用优势,但由于金融行业对新技术的接受度较为谨慎,技术的普及与推广仍面临较大的市场进入障碍,需要更多的示范和验证案例来证明其有效性和市场价值。 ⑥历年获奖情况:本项目成果在技术研发和应用推广方面取得了显著成绩,并获得了多个奖项和荣誉。项目团队于2022年荣获“广东省科技进步二等奖”,在金融大数据实时计算领域的创新性和实用性得到了业内专家的高度评价。项目中的部分技术也获得了“国家优秀金融技术创新奖”,证明了其在金融领域的领先地位和应用价值。此外,项目团队还在国内外学术期刊和技术论坛上发表了多篇论文,并参与了多个国际金融科技大会,进一步提高了技术的国际影响力和学术地位。 |
| 批准登记号: | |
| 登记日期: | 2026-11-09 |
| 研究起止时间: | 2020-11-30至2024-11-30 |
| 所属行业: | 金融业 |
| 所属高新技术类别: | 电子信息 |
| 评价单位名称: | 广东省科学技术厅 |
| 评价日期: | 2025-11-10 |
