运营商大数据平台建设方案研究
辛笛
（中国通信建设集团设计院有限公司第四分公司，郑州 450052）
摘 要 当前国内外运营商通过“搭平台、做应用”，积极探索大数据技术。面对大数据浪潮，电信运营商既有巨大
的时代机遇，也面临若干的挑战，如何挖掘运营商长期积淀的数据价值，发挥自身优势，是大数据从业者们需要深入思考和关注的。首先对大数据平台的总体演进思路进行了概要介绍；其次结合实际提出了一种大数据平台建设方案，重点介绍了大数据平台的体系结构、数据分析思路、平台网络拓扑及硬件配置；同时对基于大数据平台的应用展开了探讨；最后对运营商大数据平台的发展方向进行了展望。
关键词 运营商；大数据；平台；体系结构
中图分类号 TP39 文献标识码 A 文章编号 1008-5599（2018）04-0026-04
收稿日期：2017-10-18
电信业历经多年IT 建设，已经具备大量数据和应用的成果与经验。随着企业级数据整合，海量数据处理和大数据应用建设等的需求不断增加，造成当前计算资源管理、任务调度、运营监控和元数据管理等能力不能满足要求，传统数据运营管理体系向大数据运营体系演进势在必行。
大数据平台的演进应按照“搭平台、做应用”的思路进行，分能力建设阶段、完善提升阶段、深化扩展
阶段3个阶段进行，大数据平台分阶段建设内容如表1所示。
在能力建设阶段，主要构建基础能力，同时针对性搭建应用；在完善提升阶段，则需要完善平台能力，提升应用价值；在深化扩展阶段，主要开展创新与合作，完善大数据产业链。
电信运营商应聚焦自身大数据资产，以客户为中心，形成大数据汇聚合力，支撑技术创新的市场客户产品类、
序号
阶段
大数据平台
大数据应用平台
阶段1能力建设
阶段
初步完成大数据支撑平台搭建，具备对各类数据源的采集、分析、处理能力；具备的数据聚合和数据标准化能力，具备数据服务和数据管控能力，增强对外服务及支撑水平优先支撑常规性、周期性本地应用需求；
选择存量经营、客户价值、流失预警等精
细化运营支撑阶段2
完善提升阶段持续扩展BMO 域数据；完善大数据支撑平台数据分析处理、数据
标准化、数据管控和数据服务能力；实现经分系统的融合和迁移
深化市场营销、网络优化、客服服务、分
析管控类应用，提升数据应用价值阶段3深化扩展
阶段
扩展I 域及第三方后向数据；扩大合作范围，拓展后向服务能力
提供更加精细化、更加精准、更加实时的数据，支撑创新商业模式，深化扩展数据及模型的运用
表1 大数据平台分阶段建设内容
1 大数据平台建设方案
大数据平台总体建设应以用户需求为中心，以业务运营为导向，深度分析挖掘用户的通信和互联网行为，依据行为结果建设基础平台集成和数据模型，将行为结果转化为营销商机数据，通过多渠道协同，推进智慧在线运营，打造企业差异化竞争能力。
1.1 体系结构
大数据系统体系架构采用云化混搭架
构建设开放、可靠、易维护的大数据平台；以数据为基础，需求为导向，通过持续的模型、业务研究，构建对内、对外应用，支撑大数据战略的实现。
整个大数据平台包括采集调度中心、存储计算中心、平台资源管控中心、数据管控中心、服务开放中心5个部分，总体架构如图1所示，具体功能如下。
(1)采集调度中心：采用数据不落地传输、分布式内存数据计算、实时流数据处理等技术实现对系统源数据的处理与交换。
(2)存储计算中心：以Hadoop、MPP、流处理等技术建立数据处理中心，提供离线计算服务和在线计算服务，实现海量数据批处理和实时处理。
(3)平台资源管控中心：面向多租户的安全管控，资源分配/隔离等，支持多厂家、多应用安全高效的开发和运行。
(4)数据管控中心：统一封装的函数库，屏蔽底层差异性，通过类SQL编写或函数调度，实现跨平台统一开发。
(5)服务开放中心：通过PAAS、DAAS、SAAS 3种不同层次的开放，对围绕数据的各种角色提供支撑。
1.2 数据分析思路
大数据平台担负着向各平台应用提供数据支撑的责任。原始数据的杂乱无章难以支撑应用的多元化需求，这就需要平台对其进行梳理分析，得到满足如下条件的分析数据。
(1）数据分域分层，结构清晰，便于取用。
(2）数据组合灵活，能应对多元化应用需求。
(3）数据内容丰富，不过于依赖接口历史数据。
根据对数据支撑应用的要求，平台将数据纵向分为3层： 接口层(原始数据)，整合层(关联后数据)，汇总层(对外提供数据)。
其中整合层将数据横向分为4域： 基础域(三户基础信息、订购信息等)，消费域(涉及用户所有的消费数据) ，行为域(用户各类行为数据，频值、币值、趋势)，偏好域(计算获得的用户各类偏好，时间、内容等)。
汇总层将数据横向分为3域： 营销域(支撑营销类事件) ，分析域(支撑分析与决策) ，服务域(支撑客服类、维系类、关怀类事件)。如上文所述，数据的分层分域图如图2
所示。
另一方面，搭建大数据平台的物理层网络拓扑图如图3所示。
关于大数据平台物理层的网络拓扑图，作如下说明。
（1）网络架构：所有集群主机通过高速交换机进行网络连接，实现系统的高可靠性。
图1 大数据平台总体架构图
(2）NameNode ：NameNode 节点是Hadoop 集群的管理节点，采用双机热备的形式实现了高可用性。
(3）DataNode ：DataNode 节点是Hadoop 集群的数据存储和计算节点，采用多机冗余和数据冗余的方式实现了高可用性。
(4）接口机（与ETL 共用）：接口机用于接收和暂存数据源系统向外传送的数据文件，双机配置可以用于接口压力的分担，也可以在单机故障时互为备份用机。
(5）系统管理（ETL）：系统管理部署集群管理软件，实现对集群的管理和任务调度，采用双机热备的方式实现了高可用性。
1.3 大数据平台硬件配置
如表2所示，根据业务需要和数据平台架构特点，规划大数据平台硬件配置，保证系
统的处理能力、高可靠性，并
图2 数据的分层分域图
图3 大数据平台物理层网络拓扑图
保证系统的高可扩展能力。所有服务器硬件设备采用相同的配置，目的是当集群中关键节点（如NameNode 节点）出现故障时，可以将集群中的冗余服务器临时替代关键节点主机，实现备品替换。对于用作DataNode 节点的PC 服务器，应根据平台规划来确定数量，并随着业务发展逐步增加台数。
2 大数据应用探讨
基于大数据平台的应用，可分为企业内部应用和企业外部应用两大类。2.1 企业内部应用
对于运营商内部应用，可以通过构建如下三大体系实现对运营商服务、经营及运营的有力支撑。（1）基于大数据超细分的营销服务体系: 通过用户细分，研究各细分用户群行为规律及营销特征。
(2）以大数据分析为引领的经营支撑体系：通过超细分研究，对市场发展、行业竞争、产品推广进行分析。
(3）依托大数据能力的集约化实时运营体系：通过大数据采集系统，实时掌握市场发展动态；通过智能化营销决策系统，动态进行营销实时预警、管理。2.2 企业外部应用
相比较于企业内部应用，大数据外部应用则可实现如下功能。
（1）精准广告：建立RTB-DMP 平台， 开展大数据精准/展示广告业务。
（2）行业资讯：建立大数据对外合作模式，形成行
归属产品
所属模块平台类型
单节点配置
设备数
（台）
CPU
内存
硬盘
吉比特网口吉比特
网口管理机ETL、接口机、
管理机
32 core 2.1 GHz 128 G
9×2
TB 硬盘221大数据
平台计算、存储
中心
NameNode 32 core 2.1 GHz 128 G
9×2
TB 硬盘222DataNode
32 core 2.1 GHz 128 G
9×2
TB 硬盘
2
2
若干
表2 大数据平台硬件配置
Research on the construction plan of big data platform for operators
XIN Di
(The Fourth Branch of China Communications Construction Group Design Institute Co., Ltd., Zhengzhou 450052, China)Abstract At present, domestic and foreign operators are actively exploring big data technology by the way of
“building a platform and expanding the application”. Faced with the wave of big data, telecom operators not only have a huge opportunity for the times, but also face a number of challenges. The big data practitioners need to think deeply and concern. How to dig the value of the operator's data, and play their own advantages, Firstly, we briefl y introduced the overall evolution of ideas on big data. Secondly, we put forward a big data platform construction plan; we mainly introduced the architecture, data analysis ideas, network topology and hardware configuration of the big data platform, and then we explored applications based on big data. Finally, we looked forward to the future development of big data.
Keywords operator; big data; platform; architecture
参考文献
[1] 田雯, 刘倩, 孙红恩. MPP数据库在中国移动大数据应用中
的前景分析[J]. 电信工程技术与标准化, 2017(3).
[2] 覃雄派, 王会举, 杜小勇, 等. 大数据分析——RDBMS与
MapReduce的竞争与共生[J]. 软件学报，2012(01).
[3] 孙红恩. 电信运营商省级大数据平台建设方案[J]. 电信工程
技术与标准化, 2016(2).
[4] 于富东. 大数据平台的关键技术及组网方案[J]. 电信科学,
2015,31(07):1-169.
[5] 徐计, 王国胤, 于洪. 基于粒计算的大数据处理[J/OL].
计算机学报, 2015,38(08):1497-1517. (2014-11-28)[2017-08-20]. http://kns.cnki.net/kcms/detail/11.1826.tp.20141205.1510.013.html
[6] 潘文宇, 蔡鑫, 阮宜龙, 等. 运营商大数据平台的敏感信息
保护研究[J]. 电信科学, 2014,30(11):125-130.
[7] 任建新. 基于Hadoop平台的大数据应用系统架构的研究与实现[D].
北京：北京邮电大学, 2014.
[8] 陈云海, 黄兰秋. 大数据处理对电子商务的影响研究[J]. 电
信科学, 2013,29(03):17-21.
[9] 沙乐天, 肖甫, 陈伟, 等. 基于多属性决策及污点跟踪的
大数据平台敏感信息泄露感知方法[J]. 通信学报, 2017, 38(07):56-69.
[10] 周亮. 面向大数据的网络安全分析方法[D]. 南京邮电大学,
2016.
[11] 张超. 云环境下的新型大数据处理平台研究[D]. 华南理工
大学, 2016.
[12] 王强, 李俊杰, 陈小军, 等. 大数据分析平台建设与应用
综述[J]. 集成技术, 2016,5(02):2-18.
[13] 喜艺. Hadoop大数据平台与传统数据仓库的协作探究[J]. 通
讯世界, 2015,(17):8-9.
[14] 王洪春. 大数据平台在大型国企效能建设中的应用研究[J].
通讯世界, 2015,(13):145-146.
[15] 赵晶. 针对运营商的大数据建设方案研究[J]. 电信工程技
术与标准化，2015(3).
业分析报告。
（3）区域洞察：重点针对零售等行业企业，开展大数据应用，为商业活动提供决策依据。
(4）数据交易：研究大数据交易开放、安全机制，构建面向互联网的数据共享和交易平台。
3 结束语
大数据正在以不可阻挡的趋势走进各行各业，电信运营商拥有庞大的用户数据和网络数据等数据源，在大数据时代具备天然的优势。建设适合运营商自身的大数据平台是发挥数据资源优势，挖掘运营商大数据价值的必由之路。
今后，电信企业应不断提升数据共享能力，将大数据平台形成的数据能力共享给其它系统，发挥数据价值，提升数据对生产运营的支撑作用。最终实现大数据融合、打造大数据服务、盘活大数据价值，创建一个全面数据管理、容纳多种合作模式、提供丰富产品内涵的完善生态体系。下载本文
