课题名称：电信行业大数据精准营销与服务运营平台，课题来源：广东省科学技术厅，课题编号：2014B010117004。 课题背景：电信网络中包含了大量的用户数据、业务过程数据和网络运行数据，并以多样化的形态分散存在于运营商网络的各个网元。运营商基于管道平台，拥有现实社会和虚拟网络社会两套数据，通过用户属性关联实现数据的无缝衔接，能够全方位勾画出用户的生活和消费习惯，提供个性化服务，这是运营商独有的优势。在大数据时代，海量网络数据已经成为运营商的核心战略资产，项目实施对于形成电信行业内的大数据应用示范具有十分重大的意义。

    项目在广东电信现有虚拟化云平台基础上，突破大数据分析处理中的技术架构设计，主要技术原理如下： 1）大数据分析处理技术：项目采用hadoop+greenplum混合架构形式，实现各种形式的计算，使用开源的MPP数据库GreenPlum完成批量处理计算任务。 2）大数据精准营销技术：项目建立大数据精准营销平台，结合客户资料及用户消费行为建模，实现客户标签化处理，再通过推荐引擎和推荐算法，定位出目标用户。 3）大数据可视化技术：项目对开源的图形组件和创造出的可视化图像均进行统一化、标准化的封装，简化开发的难度，提高应用效果。 性能指标： 1）平台通过全量、增量、实时采集等方式采集源系统的文件和数据库数据，通过爬虫技术爬取互联网的数据。采集的调度方式包含定时和定量采集。 2）平台搭建了GreemPlum分布式数据库提供快速的数据查询功能，千万级别的表查询时效为毫秒级； 3）平台应用于广东电信的ODS系统，汇聚CRM、计费等核心系统的数据，生成满足分析需求的标签库、模型库、指标库，每天支撑广东电信1.8亿以上用户、4.6亿以上套餐数据、17亿特性数据的整合处理，数据量高达4T以上，每月的月报处理数据量高达12T； 4）平台生成的统计报表及大数据可视化等应用，满足在多终端上进行展现并提供大屏展现功能； 5）平台自主研发的多维分析工具，查询千万级记录的结果表，返回记录数1万行以内，30秒内可返回结果数据；返回记录数10万行以内，1分钟内可返回结果数据；该产品已获得软件著作权，并申请了专利。 6）Hadoop集群超过100个物理节点；GreenPlum按业务分成7个集群，共117个物理节点； 7）存储和管理的数据规模大于3PB；支持PB级数据的离线分析和挖掘，TB级数据的在线分析。

    技术的创造性与先进性： 1）大数据分布式处理技术采用hadoop+mpp分布式数据库的架构，部署在低廉的硬件上，支持PB级海量数据的存储和处理和并行处理能力，亿级表关联查询结果秒级返回，支持线性扩展能力，可以增加节点线性增长提高的存储容量和处理能力，支持数据备份功能，消除单点故障。 2）与国内外推荐系统比较，大数据推荐系统，面向的客户群体有所不同，系统面向所有电信客户，不仅包括各个渠道的线上客户，还可以对从未在线上渠道进行交互的线下电信客户进行推荐，而业界的推荐系统基本上都是针对各自网站的线上客户；同时，个性化营销推荐系统推荐方式多样化，不仅在线上进行个性化推荐，而且针对精准客户以发送短信，AD推送等多种方式进行主动推荐；最后，个性化营销推荐系统借助电信的基础设施，定位用户精准推荐线下商家、通过挖掘属性标签为电信客户经理提供参考。 3）大数据可视化技术以大数据可视化应用为核心，对各个开源的图形组件进行统一化、标准化的封装，简化了大数据可视化图形开发的难度，同时提高可视化图形的应用效果。 项目技术成熟程度达到TRL9级，适用范围如下： 大数据分布式处理技术主要解决“信息孤岛”现象导致数据资源共享程度不高、数据应用规模较小导致数据价值挖掘不足，解决跨部门跨系统数据整合、展现、分析的需求。实现全面、客观、动态地反映企业经营趋势。系统主要是从辅助决策的角度出发，帮助企业管理层提高市场分析效率、加强辅助决策能力、推进业务营销发展。 个性化推荐系统可将大数据的挖掘成果和产品输出，支撑各个渠道的系统或销售人员更好了解客户画像和营销，发展线上线下结合的强大O2O精确营销模式。 大数据可视化技术通过搭建可视化平台，借助报表和图形化手段，实现传达数据统计信息，加快经营决策效率。

    主要应用情况如下： 大数据分布式处理技术主要应用于广东电信的量收平台和ODS系统，系统整合了CRM、计费等10多个业务系统的数据，每个月处理的数据量达12T，生成100多个多维分析模型、1500张固定报表和5万个KPI指标。 广东电信电子渠道推荐系统，每年拉动收入超2.5亿元。系统主要向网厅、掌厅、WAP厅等多渠道的用户推荐适合客户需求的电信产品。 大数据可视化技术，广泛应用于广东电信多个大数据分析系统，包括管理层看数、运营数据平台、决策支撑中心、智能云查询平台等，实现报表查询、多终端图形展现、大屏展现等功能。

    获奖情况： 2015年，个性化营销推荐系统，依托“大数据及互联网技术，适配全渠道全业务”，获得广东省公司科技进步二等奖。 2017年，广东渠道价值视图，实现业财融合智慧分析体系，获得集团横向评比排名第一。 2017年，广东电信智慧审计项目，开拓审计智慧运营探索实践，获得工信部一等奖。