你了解分布式存储系统吗?分布式存储系统关键技术阐述

存储是现代数据储备的基础，大数据的根基更是存储。随着时代的发展，分布式存储已然成为存储的主流类型之一。为增进大家对存储的认识，本文将对分布式存储系统以及分布式存储系统关键技术予以介绍。如果你对存储具有兴趣，不妨继续往下阅读哦。

一、分布式存储系统

大数据导致了数据量的爆发式增长，传统的集中式存储(如NAS或SAN)在容量和性能上都无法较好地满足大数据的需求。因此，具有优秀的可扩展能力的分布式存储成为大数据存储的主流架构方式。分布式存储多采用普通的硬件设备作为基础设施，因此，单位容量的存储成本也得到大大降低。另外，分布式存储在性能、维护性和容灾性等方面也具有不同程度的优势。

分布式存储系统需要解决的关键技术问题包括诸如可扩展性、数据冗余、数据一致性、全局命名空间缓存等，从架构上来讲，大体上可以将分布式存储分为C/S(Client Server)架构和P2P(Peer-to-Peer)架构两种。当然，也有一些分布式存储中会同时存在这两种架构方式。

分布式存储面临的另外一个共同问题，就是如何组织和管理成员结点，以及如何建立数据与结点之间的映射关系。成员结点的动态增加或者离开，在分布式系统中基本上可以算是一种常态。

EricBrewer于2000年提出的分布式系统设计的CAP理论指出，一个分布式系统不可能同时保证一致性、可用性和分区容忍性(Partitiontolerance)这3个要素。因此，任何一个分布式存储系统也只能根据其具体的业务特征和具体需求，最大地优化其中的两个要素。当然，除了一致性、可用性和分区容忍性这3个维度，一个分布式存储系统往往会根据具体业务的不同，在特性设计上有不同的取舍，比如，是否需要缓存模块、是否支持通用的文件系统接口等。

二、分布式存储系统关键技术

(一)元数据管理

在大数据环境下，元数据的体量也非常大，元数据的存取性能是整个分布式文件系统性能的关键。常见的元数据管理可以分为集中式和分布式元数据管理架构。集中式元数据管理架构采用单一的元数据服务器，实现简单.但是存在单点故障等问题。分布式元数据管理架构则将元数据分散在多个结点上.进而解决了元数据服务器的性能瓶颈等问题.并提高了元数据管理架构的可扩展性，但实现较为复杂，并引入了元数据一致性的问题。另外，还有一种无元数据服务器的分布式架构，通过在线算法组织数据，不需要专用的元数据服务器。但是该架构对数据一致性的保障很困难.实现较为复杂。文件目录遍历操作效率低下，并且缺乏文件系统全局监控管理功能。

(二)系统弹性扩展技术

在大数据环境下，数据规模和复杂度的增加往往非常迅速，对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题，包含元数据的分配和数据的透明迁移。元数据的分配主要通过静态子树划分技术实现，后者则侧重数据迁移算法的优化。此外，大数据存储体系规模庞大，结点失效率高，因此还需要完成一定的自适应管理功能。系统必须能够根据数据量和计算的工作量估算所需要的结点个数，并动态地将数据在结点间迁移。以实现负载均衡;同时，结点失效时，数据必须可以通过副本等机制进行恢复，不能对上层应用产生影响。

(三)存储层级内的优化技术

构建存储系统时.需要基于成本和性能来考虑，因此存储系统通常采用多层不同性价比的存储器件组成存储层次结构。大数据的规模大，因此构建高效合理的存储层次结构，可以在保证系统性能的前提下，降低系统能耗和构建成本，利用数据访问局部性原理.可以从两个方面对存储层次结构进行优化。从提高性能的角度，可以通过分析应用特征，识别热点数据并对其进行缓存或预取，通过高效的缓存预取算法和合理的缓存容量配比，以提高访问性能。从降低成本的角度，采用信息生命周期管理方法，将访问频率低的冷数据迁移到低速廉价存储设备上，可以在小幅牺牲系统整体性能的基础上，大幅降低系统的构建成本和能耗。

针对应用和负载的存储优化技术

传统数据存储模型需要支持尽可能多的应用，因此需要具备较好的通用性。大数据具有大规模、高动态及快速处理等特性，通用的数据存储模型通常并不是最能提高应用性能的模型.而大数据存储系统对上层应用性能的关注远远超过对通用性的追求。针对应用和负载来优化存储，就是将数据存储与应用耦合。简化或扩展分布式文件系统的功能，根据特定应用、特定负载、特定的计算模型对文件系统进行定制和深度优化，使应用达到最佳性能。这类优化技术在谷歌、Facebook等互联网公司的内部存储系统上，管理超过千万亿字节级别的大数据，能够达到非常高的性能。

以上便是此次小编带来的“存储”相关内容，通过本文，希望大家对分布式存储系统以及分布式存储系统关键技术具备一定的了解。如果你喜欢本文，不妨持续关注我们网站哦，小编将于后期带来更多精彩内容。最后，十分感谢大家的阅读，have a nice day!