•王烨
•中国移动通信集团公司网管支撑处副经理1 2 3 4中国移动私有云现状
私有云管理面临的挑战和解决思路私有云管理平台技术架构
思考和展望中国移动私有云现状
全网初步形成两级资源池布局，现阶段以提供IaaS基础资源服务为主
l●一级私有云
l●已建设3个私有云一级资源池，总规模为近万台PC服务器。在建资源池2个，规模6千余台。
l●一级资源池已承载约60多个应用，包括业务平台、业务支撑、网络管理、企业信息化等领域系统。
l●各省公司私有云
l●全国已建设私有云资源池上百个，PC服务器总规模上万台，单资源池平均规模为百台级
l●全国31省均已建设私有云资源池，其中19个省已建1-3个资源池，12个省公司已建3个以上。
中国移动私有云资源池建设的总体目标
1 2 3集中管理
资源共享
按需分配
费用需求
资源
运营
产品中国移动私有云发展策略
l●“一级平台、两级管理”。
l●重点建设IaaS能力，逐步发展PaaS、SaaS。l●依托开源社区，立足自主研发。
l●结合业务需求，深度定制，迭代开发。
•
积极参与云计算的行业协会、标准化和开源社区工作，是工信部主导的开源产业联盟（OSCAR）和中国开源云联盟（COSCL）两个组织的副理事长单位，并主导千节点云平台工作组；•
在Linux,Openstack，SheepDog等开源社区中的贡献名列前茅，多次举办开源社区峰会，在开源社区中具有较强的影响力。•在国家信标委的云计算标准工作组中牵头制定多项国家标准，其中弹性计算和对象存储的两项标准已经发布，正在牵头制定块存储和云运营等两项国家标准。
10月份Openstack峰会，中国移动正式成为enstack 黄金会员和超级用户。积极参与开源社区并推动标准化工作
从OpenStack Juno版本开始，中国移动成长为中国十大OpenStack公司之一；
截止到目前，提交了513个patch，251个bug和8个blue prints 。
1 2 3 4中国移动私有云现状
私有云管理面临的挑战和解决思路私有云管理平台技术架构
思考和展望
A业务CPU利用率平均值长期低于1%峰值长期低于7%
资源池地域分布广
资源利用不均衡设备型号多
挑战No1. 资源池分布广、设备种类多
Storage
Storage Compute Compute Compute Memory Memory Bandwidth Bandwidth 传统业务云化和新增
业务带来多样化需求。挑战No2. 承载业务需求多样
u◆私有云资源池的规模不断扩大p☐现有资源池PC服务器规模超过3万台
p☐未来规划机架数量超过10万架
p☐分布在全网多个数据中心
u◆云资源管理技术面临挑战p☐突破单个OpenStack管理规模的局限性
p☐对分布在多个地点的资源池实现统一的资源管理
Cloud
10
资源
管理
资源
管理
资源
管理
资源
管理私有云资源池管理平台的实施步骤
阶段一统一视图、制定标准（2016-2017）
阶段二平台融合、省内整合（2017-2019）
阶段三一级平台、两级管理（2019-2020）产品规格定
义计算产品规格（14）存储产品规格（6）
网络产品规格
私有云资源池产品规格的统一定义
制定统一产品规格
•预定义/自定义
•vCPU核/内存容量/根
分区磁盘容量
资源池设计和实施的基本策略
提高虚拟化比例
提升整合比及资源利用率
引入SDN技术
简化资源池的基础硬件的规格型号1 2 3 4中国移动私有云现状
私有云管理面临的挑战和解决思路私有云管理平台技术架构
思考和展望
云
资源管理平台远端资源管理模块
防火墙机架服务器SDN 防火墙
机架服务器磁盘阵列SDN 总体技术方案
总体技术方案
u◆总体架构中Openstack定位于资源调度
p☐运营和运维：一级私有云运营功能定制化程度高，运维对接设备复杂，Openstack现有组件无法满足要求，采用定制化开发方式实现
p☐资源调度：一级私有云资源模块包括虚拟机、物理机、块存储、文件系统和SDN等，架构上结合属地的资源模块类型选择NOVA、Ironic、Cinder、Manila和Neutron等组件
OpenStack组件的选择和应用
u 各个组件在社区版的基础上依据呼哈私有云的业务需求进行了功能增强定制
组件功能定制
Keystone社区版
Glance增加异地备份功能
Nova支持SAN设备多路径、支持本地虚拟机热迁移、支持本地+共享存储的混合存储类型虚拟机热迁移、支持存储热迁移、支持卷共享
Cinder支持镜像缓存、支持增量备份
Ceilometer支持从虚拟串口采集虚拟机性能数据、支持使用时间序列数据库保存数据Neutron深度定制，厂家SDN、Ironic功能对接
Ironic深度定制，增强存储和网络功能几个关键的技术问题
u◆采用多region架构解决大规模资源的统一调度u◆引入混合SDN架构提供更加丰富灵活地网络服务u◆引入Ironic管理物理机集群资源
瓶颈：数据库、消息队列02面临问题和挑战呼和浩特资源池管理1800台虚拟化服务器和1200台物理裸机。01建设需求
堵塞严重规模大03解决方案比较和选择
单Region部署Nova C ell部署多Region部署
关键技术问题解决–多Region 方案
尽量减少Region的数量多Region间组件尽量共享01业务需求面临问题和挑战
020103解决方案
组网灵活性要求高网络运维自动化原生态的Neutron组件扩展性不
够引入混合SDN解决方案
关键技术问题解决–灵活的组网方案
核心生产区
AZ1-‐DMZ Region1
AZ2-‐CORE AZ1-‐DMZ Region2AZ2-‐CORE AZ1-‐DMZ Region3AZ2-‐CORE AZ3-‐STORE DMZ 区
存储区呼和浩特资源池
01业务需求01面临问题和挑战020103解决方案
安全域划分原生的OpenStack技术框架缺少对安全域的支持借用AZ实现安全域的隔离
关键技术问题解决–安全域的划分
n⏹物理机/虚拟机统一调度，集中监控。n⏹社区版本不成熟
n⏹推动Ironic 组件的逐步完善1 2 3 4中国移动私有云现状
私有云管理面临的挑战和解决思路私有云管理平台技术架构
思考和展望
思考和展望
云已经成为电信业务的主要组成部分
l●NFV/SDN 网络转型基于基础设施的云化l●运营商的云基础设施运营要求更高
开放、借鉴、引领
DevOps 成为主要工作模式
l●资源整合需要重构上层业务
l●云化架构追求更加高效，更加敏捷
l●发挥主导运营商作用l●积极参与开源社区工作l●合作、共赢
l●改变传统电信网络设计实施方式l●快速迭代，持续优化
Cloud
传统电信业务需要适应云化架构
中国移动在云计算领域的积累
2010.5
发布大云1.02011.12
私有云和移
动云试点2012.8
国家教育云上线2014.6
发布大云3.02014.12
2016.3
呼哈一级私有云建设Openstack转型
2007.7
启动大云研发项目2009.12搭建大规模云计算实验室移动云正式发布存储计算
网络
弹性计算
对象存储弹性块存储
S
虚拟网络系统管理域
运营管理
资源池管理
云计算安全
BC-Linux (Docker）
数据中心操作系统BC-DCOS
集成中间件弹性文件系
统云计算应用（公众服务云,企业私有云，混合云）
企业网盘
应用中间件电信能力中间件
大数据中间件
云化CDN
政务云容灾备份
流媒体
•“大云”产品累计申请专利
182项
•“大云”产品已获得1计算机软件著作权•移动云获得工信部“可信云”认证，成为首批可信云服务。
•移动云云主机和云存储IaaS服务、“大云”弹性计算（BC-EC）和对象存储（BC-oNest）的IaaS解决方案，首批通过国家标准《信息技术、云计算、参考架构》（等同采用ISO/IEC 177）的标准符合性评估。
•大云弹性计算（BC-EC）产品，通过国家标准《信息技术弹性计算应用接口》基本功能的首批标准符合性测试；大云对象存储（BC-oNest）产品，通过国家标准《信息技术云存储与管理第2部分：基于对象的云存储应用接口》基本功能的标准符合性测试。
拥有自主知识产权
通过多项国家级测评及认证
“大云”系列产品通过多项国家评测和认证
中移大云技术社区
中国移动在云计算领域的自主研发实践
大云产品商用累计部署规模超过14000台服务器，不仅支持中国移动私有云，而且提供公有云、政务云、教育云、金融云等行业解决方案
•基于OpenStack研发的“大云”3.5版本、4.0版本已经在移动公有云、各省私有云上线，KVM节点累计超过5000个，VMWare节点超过1000个；
•存储总量超过50PB，其中分布式存储40PB，盘阵10PB；
•与Nuage合作的1000节点SDN超大集群在公有云上线
•建设中的一级私有云，总节点数量超过6000个，并将首次在生产环境采用Ironic + SDN 方案。
中移大云技术社区下载本文
