互联网技术详解 分布式存储的未来发展趋势探讨

近几年，随着云计算、5G、人工智能等新技术的迅速发展和落地，产生了海量的数据，且大部分为非结构化数据。IDC 预测，到 2025 年，全球产生的数据量将会增长到 175ZB，其中，超过 80%的数据都会是处理难度较大的非结构化数据。在非结构化数据指数级增长的推动下，分布式存储市场也将迎来持续高速发展，预计2024年市场空间将达到171亿。

分布式存储将在存储领域逐渐占主导地位，分布式存储在技术上有哪些发展趋势?本文将从介质层/架构层/网络层和应用层四个层面来展望分布式存储的未来发展趋势。

介质层

分布式存储集群性能的提升首先取决于存储节点本身性能的提升。随着NAND Flash技术的进步、NVMe协议的迭代，SSD 作为一种全新的闪存介质开始进入企业的数据中心，并逐渐成为应用的主流。从性能上来说， NVMe SSD 的IOPS性能是传统机械硬盘的3500倍，带宽可达到3.2GB/s，延迟缩短到0.02ms。

在存储性能委员会(SPC)的 SPC-1 基准下对全闪存储性能进行测试，测试发现全闪存存储基础性能提升了500%;数据库场景下，业务性能提升了700%;云桌面场景下，在 Word/PowerPoint/Excel 应用测试中，启动响应时间缩短 80%。充分体现了全闪存储产品优异的性能。

另外在全球存储市场中，由于闪存成本不断下降，全闪存储份额快速增加，目前市场占比已经超过20%，根据第三方机构Wikibon的预测，2026年SSD单TB成本将低于HDD。2025年后，HDD的出货量将每年下降27%，只应用于扩容和归档等少数场景。

新华三分布式存储系列X10828能够支持28块NVMe SSD配置的全闪存节点，单节点带宽可高达20GB/s，单节点IOPS大文件小IO模型下可高达225W，小文件小IO模型下可高达42.7W。X10828全闪存储能够满足企业核心业务对存储的高 IOPS、低延迟的要求。

架构层

随着传统应用、云原生应用和AI技术等上层应用的发展驱动，ICT技术与各类应用正在加速融合。融合过程中一方面是因为各个业务对数据响应的要求不尽相同，另一方面是因为业务的数据类型越来越复杂多样，业务数据存储和管理带来更多混合负载需求。

目前，分布式存储架构正向面向支撑虚拟化、数据湖、AI和云原生等多混合负载的融合架构方向逐渐演进。不同于传统应用对存储一对一的采购模式，混合型应用负载对分布式存储设备提出更高的要求，需要单套存储同时承载企业多类型混合业务负载，支撑不同类型、不同级别的应用，并要求分布式存储能够提供更高的性能来面对混合业务负载的I/O多样性(比如大文件大I/O、大文件小I/O等)，使其作为可靠性存储底座为上层混合业务做有效支撑。

新华三全自研 UniStor X10000存储可支持块、文件、对象与大数据存储，采用全分布式融合架构，支持HDFS/Swift/iSCSI/文件/CSI等接口，作为可靠的存储底座为上层混合业务做有效支撑的同时，为存储系统的高性能、高扩展、安全可靠、自动化运维提供了有力保证。

网络层

NVMe-oF存储网络协议

相对于机械硬盘，全闪的存储性能已经有了近百倍提升，但是服务器到交换机、存储之间的网络协议却成为数据中心新性能提升的瓶颈，限制其潜力的释放。为了应对这种情况，2016年标准化组织推出NVMe-oF (NVMe over Fabric)。

在NVMe 协议发布之初，其仅可在服务器内部的 PCIe 总线上进行数据传输，无法实现跨节点的数据交互，NVMe-oF主要目的是将服务器连接到远程NVMe设备，并允许它们像直接插入到PCle总线一样进行通信，实现高性能的存储设备网络共享访问。

RDMA 是承载 NVMe-oF的原生网络协议，主要包括 RoCE、IB(InfiniBand)和 iWARP(Internet Wide Area RDMA Protocol)。NVMe over RDMA 协议比较简单，直接把 NVMe 的 IO 队列映射到 RDMA QP(Queue Pair)连接，通过 RDMA SEND，RDMA WRITE，RDMA READ 三个语义实现 IO 交互。当前在数据中心领域中RoCE的应用已经得到绝大部分用户的认可，性能上来看采用NVMe over RDMA构建的网络其性能和时延可以媲美直连存储。

NVMe-oF集成现有的NVMe和高速低延迟传输网络的技术，可极大的释放数据中心端到端NVMe性能，能够更好地满足未来通用大规模和高性能大型数据中心建设需求。

结合全闪存分布式存储X10828和NVMe-oF高性能网络存储方案，新华三可提供一整套整合的高速分布式存储系统的全栈式解决方案，非常适应于针对性能要求苛刻的大规模存储集群的应用场景。

DPU

在云服务中，DPU 可以为虚拟机或裸金属提供存储加速功能，通过软硬件结合方式实现存储系统的卸载，灵活实现高存储 IOPS 性能和低主机 CPU 占用率的要求。存储系统卸载在 DPU 上完成的主要工作为：存储接口的卸载和存储网络协议栈加速。

在存储接口方面：DPU 实现存储接口的卸载主要方式为在 DPU 上为虚拟机、裸机、容器提供一致的 virtio-blk/NVMe 虚拟块设备后端，主机中加载标准virtio-blk或NVMe驱动即可实现块存储的读写，无需额外的厂商专用驱动。

存储网络协议方面，在 DPU 上实现 NVMe-oF 协议栈的卸载加速，可以在计算节点提供原生NVMe 的后端存储接口，通过高性能的 RDMA 网络协议(如 RoCEv2)连接到存储端，在存储节点使用 DPU 硬件实现的 NVMe Target 管理 NVMe SSD，整个存储网络传输端到端 bypass 主机 CPU，并且没有任何的协议转换消耗，为云主机提供了与本地 NVMe 性能接近的高性能弹性远端存储。

目前，新华三联合合作伙伴在DPU、NVMe-oF等方面展开合作，在RoCE上打造一套便捷高效的无损以太网解决方案，为数据中心用户带来更大的价值。

应用层

积极迎接云化

在过去的30年中，业务系统的运行环境经历了巨大的变化。物理机时代，运维人员手动配置存储系统和部署业务系统，业务上线以周为单位。而在云原生时代，每分钟都可能发布新的应用版本，每天都可能有大量的业务要上线。这意味着，云原生时代的存储系统，除了要满足性能、稳定性、可靠性的要求以外，还要满足业务系统对敏捷性的要求，能够通过统一的编排系统配合业务上线，并可实现快速扩容。

在容器技术刚出现时，企业一般在容器运行web服务类的无状态的应用，因为无状态应用不需要持久化数据。根据CNCF 2021年调研报告显示，近8成的客户希望在容器上运行有状态应用，比如数据库，中间件等。为了满足用户的业务需求，2018年，CNCF发布了容器存储接口：CSI。CSI把容器存储进行抽象，通过标准接口的形式把存储部分移到容器编排系统外部。各存储厂商按照接口标准开发CSI插件，独立发布，快速满足容器存储需求。

新华三全自研 UniStor X10000存储可实现无需改造上层应用即可通过CSI接口完成存储资源与上层应用对接，为上层有状态应用提供持久化数据存储能力。

存算分离架构

随着非结构化数据存储量大大增加，各个企业逐渐形成自己的“数据湖”，湖中存储企业内海量的、多来源，多种类的数据，并支持对数据进行快速加工和分析。目前从实现方式来看，Hadoop是最常用的部署数据湖的技术，根据Gartner研究数据表明，在数据湖场景下，Hadoop的部署和需求仍然很大并且正在增长。

但是Hadoop为大数据分析带来便利的同时，也面临着一些挑战。

NameNode是HDFS中的管理者，主要负责文件系统的命名空间、集群配置信息和数据块的复制。在运行时，HDFS的元数据信息必须存储在NameNode的内存中，如果针对大型集群来说，NameNode内存存储空间将成为限制系统横向扩展的瓶颈。另外，一旦NameNode宕机，整个存储系统将会无法工作，虽然Hadoop引入Secondary NameNode作为HA，但是故障切换时间一般几十秒到数分钟，这是很多企业所无法接受的。

在传统的Hadoop集群系统中，计算和存储资源是紧密耦合的。在发展到一定阶段的时，整体集群中的资源需求会打破原来存储计算之间的比例平衡，造成某一类资源的利用率无法提升。比如：企业内部的数据量在1年的时间内上涨到原来10倍，而计算资源需求只上涨到原来4倍，数据存储量需求明显比计算资源增长快，这时，如果继续采用存算一体化的架构则意味着要满足存储资源增长的同时，计算资源也会增长10倍，那么计算资源会存在过剩的情况。

因此，随着企业业务数据不断增长和技术框架的不断革新，可以对集群适当做一些存储和计算的拆分，一方面可以提升集群的稳定性和性能，另一方面，可以降低整体的成本，达到降本增效的效果。

总之，随着AI、大数据、5G等高科技的快速发展和迫切需求的落地，可以预见，分布式存储在未来将会有爆发式的增长，将创造亿万级的数据财富。