【摘要】介绍云计算与云存储,简述云存储运用实例,对比分析云存储搭建架构,展现云计算与云存储应用现状,为建立云存储提供帮助。
关键词:云计算云存储系统架构模式
云计算即Cloud Computing。
狭义云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。这种特性经常被称为像水电一样使用IT基础设施。
广义云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务。
云计算的基本原理是,通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。
李开复(现任Google全球副总裁、中国区总裁)打了一个很形象的比喻:钱庄。最早人们只是把钱放在枕头底下,后来有了钱庄,很安全,不过兑现起来比较麻烦。现在发展到银行可以到任何一个网点取钱,甚至通过A TM,或者国外的渠道。就像用电不需要家家装备发电机,直接从电力公司购买一样。云计算就是这样一种变革——由谷歌、IBM这样的专业网络公司来搭建计算机存储、运算中心,用户通过一根网线借助浏览器就可以很方便的访问,把“云”做为资料存储以及应用服务的中心。
云存储在云计算概念上延伸和发展出来的一个新的概念。与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。
云存储系统的结构模型由4层组成。
一、存储层
存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域,彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。
二、基础管理层:
基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。
三、应用接口层:应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台,远程数据备份应用平台等。
四、访问层:
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。
与云计算系统相比,云存储可以认为是配置了大容量存储空间的一个云计算系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。从架构模型来看,云存储系统系统比云计算系统多了一个存储层,同时,在基础管理也多了很多与数据管理和数据安全有关的功能,在两者在访问层和应用接口层则是完全相同的。
云存储的产品可以说有千百种,也可以说为数不多,这要取决于对云存储的定义范围有多广或者有多窄。对多事务处理的数据库或临时存储来说,云存储并不是一个好的选择。不过,对于存储需求不可预测、需要廉价存储阵列或低成本长期存档的企业来说,云存储还是非常有意义的不同类型的云存储运营商对外提供的服务不同。根据云存储提供的服务类型和面向的用户不同,云存储服务可以分为个人级应用和企业级应用。
一、个人级云存储应用
1、网络磁盘
相信很多人都使用过腾讯、MSN等很多大型网站所推出“网络磁盘”服务。网络磁盘是个在线存储服务,使用者可通过WEB访问方式来上传和下载文件,实现个人重要数据的存储和络化备份。高级的网络磁盘可以提供web页面和客户端软件等两种访问方式,本人在2002就用过Xdisk这个网络磁盘软件系统,它可以通过客户端软件在本地创建一个名盘符为X的虚拟磁盘,实现重要文件的存储和管理,使用的方式与使用本地磁盘相同。
网络磁盘的容量空间一般取决与服务商的服务策略,或取决于使用者想服务商支付的费用多少。
2、在线文档编辑
经过近几年的快速发展,Google所能提供的服务早已经从当初单一的搜索引擎,扩展到了Google Calendar、Google Docs、Google Scholar、Google Picasa 等多种在线应用服务。Google一般都把这些在线的应用服务称之为云计算。
相比较传统的文档编辑软件,Google Docs的出现将会使我们的使用方式和使用习惯发生巨大转变,今后我们将不再需要在个人PC上安装office等软件,只需要打开Google Docs网页,通过Google Docs就可以进行文档编辑和修改(使用云计算系统),并将编辑完成的文档保存在Google Docs服务所提供的个人存储空间中(使用云存储系统)。无论我们走到哪儿,都可以再次登录Google Docs,打开保存在云存储系统中的文档。通过云存储系统的权限管理功能,还有能轻松实现文档的共享、传送、以及版权管理。
3、在线的网络游戏。
近年来,网络游戏越来越收到年轻人的喜爱,传奇、魔兽、武林三国等各种不同主题和风格的游戏层出不穷,网络游戏公司也使出浑身解数来吸引玩家。但很多玩家都会发现一个很重要的问题:那就是由于带宽和单台服务器的性能,要满足成千上万个玩家上线,网络游戏公司就需要在全国不同地区建设很多个游戏服务器,而这些游戏服务器上上玩家相互之间是完全隔离的,不同服务器上的玩家根本不可能在游戏中见面,更不用说一起组队来完成游戏任务。
以后,我们可以通过云计算和云存储系统来构建一个庞大的、超能的游戏服务器群,这个服务器群系统对于游戏玩家来讲,就如同是一台服务器,所有玩家在一起进行竞争。云计算和云存储的应用,可以代替现有的多服务器架构,使所有玩家都能集中在一个游戏服务器组的管理之下。所有玩家聚集在一起,这将会使游戏变得更加精彩,竞争变得更加激烈。同事,云计算和云存储系统的使用,可在最大限度上提升游戏服务器的性能,实现更多的功能;各玩家除了不再需要下载、安装大容量的游戏程序外,更免除了需要定期进行游戏升级等问题。
二、企业级云存储应用
除了个人级云存储应用外,企业级云存储应用也即将会面世,而且以后可能会成为云存储应用的主力军。从目前不同行业的存储应用现状来看,以下几类系统将有可能很快进入云存储时代。
1、企业空间租赁服务
信息化的不断发展使得各企业、单位的信息数据量呈几何曲线性增长。数据量的增长不仅仅意味着更多的硬件设备投入,还意味着更多的机房环境设备投入,以及运行维护成本和人力成本的增加。即使是现在仍然有很多单位、特别是中小企业没有资金购买的、私有的存储设备,更没有存储技术工程师可以有效地完成存储设备的管理和维护。
通过高性能、大容量云存储系统,数据业务运营商和IDC数据中心可以为无法单独购买大容量存储设备的企事业单位提供方便快捷的空间租赁服务,满足企事业单位不断增加的业务数据存储和管理服务,同时,大量专业技术人员的日常管理和维护可以保障云存储系统运行安全,确保数据不会丢失。
2、企业级远程数据备份和容灾
随着企业数据量的不断增加,数据的安全性要求也在不断增加。企业中的数据不仅要有足够的容量空间去存储,还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性,还要保证当本地发生重大的灾难时,可通过远程备份或远程容灾系统进行快速恢复。
通过高性能、大容量云存储系统和远程数据备份软件,数据业务运营商和IDC数据中心可以为所有需要远程数据备份和容灾的企事业单位提供空间租赁和备份业务租赁服务,普通的企事业单位、中小企业可租用IDC数据中心提供的空间服务和远程数据备份服务功能,可以建立自己的远程备份和容灾系统。
3、视频监控系统
近两年来,电信和网通在全国各地建设了很多不同规模的“全球眼”、“宽视界”网络视频监控系统。“全球眼”或“宽视界”系统的终极目标是建设一个类似话音网络和数据服务网络一样的,遍布全国的视频监控系统,为所有用户提供远程(城区内的或异地的)的实时视频监控和视频回放功能,并通过服务来收取费用。但由于目前城市内部和城市之间网络条件,视频监控系统存储设备规模的,“全球眼”或“宽视界”一般都能在一个城市内部,甚至一个城市的某一个区县内部来建设。
假设我们有一个遍布全国的云存储系统,并在这个云存储系统中内嵌视频监控平台管理软件,建设“全球眼”或“宽视界”系统将会变成一件非常简单的事情。系统的建设者只需要考虑摄像头和编码器等前端设备,为每一个编码器、IP 摄像头分配一个带宽足够的接入网链路,通过接入网与云存储系统连接,实时的视频图像就可以很方便地保存到云存储中,并通过视频监控平台管理软件实现图像的管理和调用。用户不仅可以通过电视墙或PC来监看图像信号,还可以通过手机来远程观看实时图像。
构建一个云存储或大规模可扩展的NAS系统的各种不同架构方法,对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说,这些方法与他们息息相关。架构方法分为两类:一种是通过服务来架构;另一种是通过软件或硬件设备来架构。
传统的系统利用紧耦合对称架构,这种架构的设计旨在解决HPC(高性能计算、超级运算)问题,现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构,集中元数据和控制操作,这种架构并不非常适合高性能HPC,但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下:
紧耦合对称(TCS)架构:
构建TCS系统是为了解决单一文件性能所面临的挑战,这种挑战了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储,因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品,很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效,几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进,需要一定程度的技术经验才能安装和使用。
松弛耦合非对称(LCA)架构:
LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作,而是利用一个数据路径之外的元数据控制服务器。集中控制提供了很多好处,允许进行新层次的扩展:
●存储节点可以将重点放在提供读写服务的要求上,而不需要来自网络节点的确认信息。
●节点可以利用不同的商品硬件CPU和存储配置,而且仍然在云存储中发挥作用。
●用户可以通过利用硬件性能或虚拟化实例来调整云存储。
●消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要,如光纤通道或infiniband,从而进一步降低成本。
●异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储,同时还能提供永久的数据可用性。
●拥有集中元数据意味着,存储节点可以旋转地进行深层次应用程序归档,而且在控制节点上,元数据经常都是可用的。
云存储选择
虽然在可扩展的NAS平台上有很多选择,但是通常来说,他们表现为一种服务、一种硬件设备或一种软件解决方案,每一种选择都有它们自身的优势和劣势:
服务模式:最普遍的情况下,当你考虑云存储的时候,你就会想到其所提供的服务产品。这种模式很容易开始,其可扩展性几乎是瞬间的。根据定义,你拥有一份异地数据的备份。然而,带宽是有限的,因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。
HW模式:这种部署位于防火墙背后,并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便,而且,如果厂商在安装/管理上做的好的话,其往往伴随有机架和堆栈模型。但是,这样你就会放弃某些摩尔定律的优势,因为你会受到硬件设备的。
SW模式:SW模式具有HW模式所具有的优势。另外,它还具有HW所没有的价格竞争优势。然而,其安装/管理过程序要谨慎关注,因为安装某些SW 的确非常困难,或者可能需要其他条件来人们选择HW,而选择SW。
伴随着大规模的数字化数据时代的到来,在这个时代里,企业使用 来分发培训录像,在这里,没有必要将这些数字“资料”放的到处都是。像以上这些企业正致力于内容的创建和分布,基因组研究、医学影像等的要求会更加严格准确。LCS架构的云存储非常适合这种类型的工作负载,而且还提供了巨大的成本、性能和管理优势。
参考文献
[1]百度百科《云计算》http://baike.baidu.com/view/1140366.htm
[2]百度百科《云存储》http://baike.baidu.com/view/2044736.htm
[3]中国云计算http://www.chinacloud.cn下载本文