当前位置:首页 > 嵌入式 > 嵌入式硬件
[导读]块是存储的基础架构,对块的管理是简单的。从全球第一个磁盘存储技术50年前诞生到现在,块的技术没有发生太大变化。磁盘工业生产遍及全球。最近几年,存储行业兴起存储虚拟

块是存储的基础架构,对块的管理是简单的。从全球第一个磁盘存储技术50年前诞生到现在,块的技术没有发生太大变化。磁盘工业生产遍及全球。最近几年,存储行业兴起存储虚拟化和数据整合的新概念,在这些概念和方案中,数据还是以块的形式通过网络进行读写操作。

块形式的存储在满足数据可扩展性和数据安全性的增长方面,日益显现出其局限性和不足。国际上主要有两类网络化存储架构,它们是通过命令集来区分的。

第一类是SAN(Storage Area Network)结构,它采用SCSI 块I/O的命令集,通过在磁盘或FC(Fiber Channel)级的数据访问提供高性能的随机I/O和数据吞吐率,它具有高带宽、低延迟的优势,在高性能计算中占有一席之地,但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。第二类是NAS(Network Attached Storage)结构,它采用NFS或CIFS命令集访问数据,以文件为传输协议,通过TCP/IP实现网络化存储,可扩展性好、价格便宜、用户易管理,如目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。

针对Linux集群对存储系统高性能和数据共享的需求,国际上已开始研究全新的存储架构和新型文件系统,希望能有效结合SAN和NAS系统的优点,支持直接访问磁盘以提高性能,通过共享的文件和元数据以简化管理,目前对象存储系统已成为Linux集群系统高性能存储系统的研究热点,如Panasas公司的Object Base Storage Cluster System系统和Cluster File Systems公司的Lustre等。

基于对象的存储

在2004年, ANSI 推出了基于对象的存储设备(OSD)的1.0版本规范。它定义了基于对象的存储设备的通讯协议。OSD规范描述了一个 SCSI 命令集合,由他提供一个高水平的OSD接口。这个接口允许客户端, 比如文件系统和数据库存放和索引数据。 SNIA’S 技术工作组当前正在开发OSD 规范的2.0版本,这个版本年内完成。

一个OSD设备存放对象,他控制着从对象到物理介质的映射图。设备同时也跟踪作为属性的元数据,例如建立时间标记,从而允许在客户端非常容易地共享数据。

可以说,OSD最大的卖点在于它结合了SAN的可扩展性和NAS的数据共享。早期的NAS架构的扩展性能并不好,因为所有的元数据的处理都集中在NAS服务器上。在有限的NAS头下扩张更多的存储受到限制,而且这个时候,NAS上的元数据处理变成了瓶颈。如果想扩展,就需要增加更多的NAS服务器,但是此时的管理成为头疼的事情,因为数据是分散的, 这就是我们常说到的“NAS 孤岛”

OSD的能力在于它将客户端和OSD设备直接联系起来,并不需要中间环节管理元数据。Panasas 公司,全球第一家提供商用OSD产品的公司,同时提供面向对象的存储和并行文件系统。Panasas 公司的 DirectFLOW 的设计,客户端从带外管理的控制刀片得到目标的分布和安全属性。所有的数据流都直接从OSD存储刀片到客户端。尽管商用的OSD产品还只是凤毛麟角,但是 OSD技术还是在日新月异。 西捷和IBM已经展示了OSDc产品。 HP已经和开放源代码厂家 Lustre 文件系统合作,使用OSD作为他的StorageWork 可扩展文件系统的重要部分。

对于对象存储来讲,不光是解决了数据存储的问题,同时它还解决了数据安全性的问题。存储通常已经依赖于客户端和私有网络的认证来保护系统的安全性,不管在文件服务器内用的是FC SAN或SCSI阵列。对象存储体系结构在每一个级别上都提供了安全性:存储系统对存储设备的认证;存储系统对计算节点的认证;存储系统对计算节点命令的认证;所有命令都经CRC的完整性检查;数据和命令经由IP的私有性。这样的安全水平能给用户以信心,他们可以用更经济高效,可管理并容易访问的网络,如以太网,作为存储的传输工具,同时还提高了整个存储体系的安全性。

对象存储设备并不适合所有的用户。” Panasas公司的CTO Garth Gibson博士说。经过几年的努力,Panasas 在政府,科研,能源,媒体和金融服务有了很多非常成功的案例。“Panasas 是使用面向对象的存储集群,来解决计算集群的并行存储的问题”。高性能计算和存储专家胡家鎏教授说。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭