大数据时代云存储发展现状与演变趋势

大数据时代，存储系统面临严峻挑战，云存储(cloud storage)概念应运而生。与传统存储设备相比，云存储不再仅是一个硬件，而是一个由网络设备、存储设备、应用软件等多个部分组成的复杂系统。云存储的出现会给存储行业带来哪些新的机遇与挑战？云存储核心器件/方案将如何满足大数据时代从个人到企业的多变需求？本期封面故事将就云存储在技术和商用层面的发展现状和最新趋势展开讨论。

大数据时代——存储的世界

当前，全球数据爆涨。在你阅读本文的3分钟时间内，有18万小时的音乐下载，6亿Email产生，6,000万照片被查看，14万个应用下载，390万视频被观看……移动互联网的快速发展让人类创造和分享数据的热情前所未有的高涨，一场数据革命正在被引发。根据IDC的预测，大数据市场将有望在2016年达到238亿美元规模，数据存储量的需求以每年50%的速率增加，并在2020年达到惊人的40泽字节(zettabyte, ZB)，相当于地球上所有沙粒数量的57倍，相应的IT基础设施投入年增长为7%。

IDC数据显示，过去五年间，全球被创造和分享的数字信息增长了9倍，2011年接近20亿TB

与此同时，各种廉价且有吸引力的云存储选择也正日益增多。Strategy Analytics公司在调查接近2,300个连接终端后得出结论：目前，苹果公司的iCloud和iTunes Match服务占有了云存储市场上最多的用户，为27%；其他取得了两位数成绩的公司依次是Dropbox(17%)、Amazon Cloud Drive(15%)以及Google Drive(10%)；而其他竞争对手的用户占有率都未超过4%。有意思的是，音乐存储在云服务中采用率最高，有90%左右的苹果、亚马逊及谷歌云用户都使用这些服务存储他们的音乐。

中国市场方面，艾瑞咨询发布的《2012中国云存储行业及用户行为研究报告》显示，中国的个人云存储业务自2011年起步以来迅速发展，当年个人云存储用户数量达到2,300万，2012年用户数量则攀升至1.07亿，但相比邮箱、搜索引擎、微博这些热门的互联网应用，用户基础依然薄弱。

艾瑞咨询认为，云计算技术的成熟、移动互联网的发展、智能手机的普及带来了个人云存储业务的繁荣，预计2013年中国个人云存储用户规模将达到2.23亿，网民渗透率达到36.7%，而在2011年这一比例仅为7%。但该公司也同时指出，目前中国的个人云存储服务的主要挑战是积累用户数量，随着用户规模的扩大，产业链逐步清晰，届时将形成“免费付费”、增值业务收入为主，广告收入为辅的商业模式。

云存储技术应用创新潜力巨大　

英特尔(中国)有限公司存储产品市场经理亢海峰

在英特尔(中国)有限公司存储产品市场经理亢海峰看来，云存储是对云计算概念的自然延伸与发展。其最主要的特征，就是将数据分布在大量分布式计算机上，降低部署成本，提高存储效率，增强灵活性，使得存储获得很强的可扩展能力。通过部署云存储，企业和个人用户可以快速访问存储资源，享受所购买的存储服务，如数据多副本、灵活的策略配置等。同时，存储资源还能够根据企业使用情况进行弹性扩展。

“云存储走出实验室，投入到现实商业应用之中已经是不争的事实。尽管目前大多数应用模式都要依赖软件技术实现，但云存储在技术与应用模式的进一步演进创新上拥有着巨大空间，市场增长潜力十分巨大。”PMC公司研发副总裁廖恒说，“作为芯片公司，我们必须要思考这样庞大的数据量将对硬件基础设施产生怎样深远的影响，用户、厂商以及整个行业都要用怎样的创新去迎接这样的挑战。”　

PMC公司研发副总裁廖恒

PMC为此已经开始实施一个名为“平方公里阵列”的项目。简单而言，该项目的运作方式是每秒获取750太字节(terabyte, TB)的数据，将其分布在100万个节点进行处理。这样，每天将能处理一艾字节(Exabyte, EB)，存储一拍字节(petabyte, PB)。这一项目的运作，将能够帮助业界认识到系统的未来可扩展性在硬件架构方面给数据中心带来的挑战与机遇。

亢海峰认为，云存储的发展包含技术和服务两个层面：传统的网络存储已经不能满足目前庞大的数据存储市场需求，大型的网格存储解决方案开始向分布式计算、网格计算、虚拟化技术等云计算相关方向发展；而引领云存储服务前行的主要动力则来自互联网行业，包括社交网络、云共享、云备份、云盘等，这些模式的产生和发展使大量数据通过高速互联网存储在云端进行分享。

Facebook、YouTube、Twitter等社交媒体增长迅速

他举例说，在互联网行业中，通过类似Linkedin、Facebook、twitter、微博、微信等社交网络平台，很多个人信息被大量归纳起来进行地域统计，从而整合出商业信息点，交由相应的公司做商业价值挖掘。由此带来的价值，是有更多客户为了得到有用的商业统计而自愿变成付费用户，这是云存储应用从社交网络转到具有商业价值市场行为方式的一个典型案例。此外，很多关系到国计民生的行业需求也离不开云存储，例如智慧城市中的交通、医疗、电信、安防、商场购物等。如果这些应用得到了良好的发展，云存储行业就大有希望。

“云存储可颠覆磁盘阵列所代表的传统存储需求。”这是LSI公司亚太区渠道事业部总经理李东胜做出的判断。他分析称，随着智能手机、平板电脑和其他智能设备的大量普及，新的云存储形式不断涌现，这给新进入B2C和B2B领域的参与者带来了机遇。现在，不但消费者在日常生活中离不开云存储，中小企业也越来越多的将云存储作为降低成本和提高可用性的有效方法，甚至开始利用其建立新的业务模式(例如建立在AWS基础之上的Instagram)。此外，其在技术层面上也有着更加令人激动的全新趋势，如基于x86服务器的分布式存储系统、虚拟化技术、闪存的广泛普及、以及软件定义的存储技术等，都使云存储能够以更低的成本快速向前发展。[!--empirenews.page--]

LSI公司亚太区渠道事业部总经理李东胜

传统意义上，像LSI这样的存储半导体供应商，通常置身后台，主要通过服务器厂商接触最终客户。但数据洪流(Data Deluge)的出现，使得以谷歌、Facebook、亚马逊、百度、阿里、腾讯为代表的互联网企业开始纷纷设计自己的数据中心架构，直接跟组件厂商和ODM厂商合作，采用基本的组件搭建数据中心，操作系统(硬件资源管理和调度)层面软件则由自己设计。Facebook甚至还提出了OCP开放计算计划，将自己的硬件需求规范公诸之众，吸引更多志同道合者采纳，从而扩大同类需求的规模，降低硬件成本。

台湾威刚科技(Adata)股份有限公司技术营销资深经理洪旗徽

李东胜说，这意味着云存储供应商将直接成为LSI未来新的合作伙伴，因此，了解他们的需求和发展趋势，设计出专门针对大型数据中心环境而优化的芯片解决方案和产品，调整已有渠道业务体系，是公司的当务之急。

台湾威刚科技(Adata)股份有限公司技术营销资深经理洪旗徽同样认为，云存储概念的提出和发展与智能终端、移动互联网的普及密切相关，消费者正将数据从传统的U盘、移动硬盘转变成云储存。从目前的发展状况来看，随着云应用的蓬勃发展，无论是YouTube、Facebook，还是最新的Whatsapp、Wechat社交软件，均需要构建相当大的云存储空间以提供良好用户体验。以Facebook为例，截止2013年6月，累计已有11亿人次使用，平均每天约有7亿人在线，3亿张图片被上传，45亿次文章发表，这代表着存储内存的需求将会越来越高。

云计算时代存储架构演变趋势

“云存储目前的发展阶段总体来讲仍处于快速上升阶段，现在大家考虑的问题是在最近几年里，如何把这么多的数据有效存储起来。”亢海峰表示，由于存储容量的限制，很多数据并不能完整的保存下来，都是对经过加工处理之后的信息进行保存。例如，摄像头拍摄的信息就是根据事先设定的标签，截取有效时间点，将之前信息覆盖后再进行重新利用。因此，如何从软硬件角度出发，综合考虑功耗、空间、冷却、采购/运营成本等要素，对基础架构进行改造是首当其冲需要考虑的问题。

廖恒指出，目前的大型数据中心在实现云存储的功能和业务时，大多利用通用型服务器搭建硬件基础设施，然后采用软件技术加以实现。同时，硬件服务器系统厂商也开始对高密度存储的应用进行优化。例如，过去多数通用服务器直连的硬盘数目都只有8-12个左右，而现在，许多厂家都已开发部署了能够连接24-80个硬盘的存储服务器，还有厂商采用了存储SoC或较低成本的通用CPU来优化存储服务器的成本。另外，传统的企业存储系统厂商也试图以专用设备的形式开拓云存储市场。这些设备加载了分布式文件系统等存储业务软件，并对整个软硬件系统进行了优化。

“我们发现一些本质问题是大家共同关心的，比如在数据热度(Data With Temperature)方面， 如何使传统的向外扩展(scale-out)构架中通常采用的服务器单元根据数据热度做优化？在资源池化(Resource pooling)方面，如何在有全局的CPU、内存、存储资源和网络资源的数据中心中，在软件策略不受任何局限的前提下，灵活地绑定这些资源，构建各种各样的虚拟机？”

廖恒进一步解释说，针对上述挑战，业界目前出现了两个技术趋势：一个是分离I/O构架(Disaggregated IO, DIO)，即把CPU、网络、存储、甚至包括内存资源，在物理上分离成独立的单元；另一个是软件定义数据中心(Software Defined Data Center, SDDC)，即通过云操作系统对整个云的CPU、网络和存储资源统一指挥调派并彼此绑定，来建立一个虚拟化的数据中心基础设施，从而快速地适配动态变化的业务要求(VM+SDN+SDS=SDDC)。PMC观察到了这些趋势，并充分发挥自身优势，有机地结合这两种技术，引入了FDIO来进行下一代产品的研发。

李东胜将人们对云存储的主要需求归纳为以下四点：能提供快速、稳健的24x7全天候无故障服务；能按需扩展或收缩存储使用量；具备高度安全性；具有可靠的API集合，能用以访问、操控和存储各种结构化和非结构化的数据类型。“对大型数据中心而言，这意味着要使用能效最高(即每GB容量功耗)的云存储实现方案，将每GB存储容量的成本降至最低，并最大限度地提高机架空间利用率。”

洪旗徽给出的观点则是，在可预见的5至10年内，云存储系统需求将会从以传统硬盘为主，逐渐转换至以固态硬盘为主。转变的原因是固态硬盘在架构上具有较佳的效能和功耗，如高IOPS(每秒输出入次数)及低延迟时间(Latency)；另一方面，机架空间也是云储存需要思考的问题。传统硬盘目前最小尺寸只能支持到2.5英寸(70×100mm)，但固态硬盘却可以缩小至15%面积(22×42mm)。如果用两台各自装备21块传统硬盘和16块固态硬盘的x86服务器作对比，后者将具有100倍速度的提升、90%空间及80%能耗的节省。