什么是分布式存储？
分布式存储是一种数据存储架构，它将信息分布在多个物理系统中，这些系统协同工作，形成一个统一的存储池。分布式存储不依赖于单个集中式存储阵列，而是将多个节点（通常跨机架甚至跨多个数据中心）集群化，从而提供可扩展的容量、并行性能和内置的弹性。
在传统存储系统中，数据驻留在单个存储单元中。 chassis 或者说，控制器对，而且扩展通常需要升级到更大的硬件。相比之下，分布式存储可以水平扩展。可以向集群添加新的存储节点来扩展容量和吞吐量，而不会中断运行。这种架构是现代云环境、人工智能 (AI) 基础设施、大规模分析平台和软件定义存储生态系统的基础。
通过将数据分布在多个系统中，组织可以提高容错能力，消除单点故障，并满足当今高吞吐量工作负载的性能要求。
分布式存储的工作原理
分布式存储系统依赖于协调的软件服务，这些服务负责管理数据在独立存储节点集群中的放置、保护、定位和访问方式。每个节点并非作为孤立的设备运行，而是为由分布式控制逻辑管理的共享架构贡献计算、内存和存储资源。
核心运行机制包括：
- 数据分段与分布——文件或卷被分割成块、数据块或对象，并使用兼顾容量和性能的放置算法将其分布到各个节点上。这使得集群能够并行执行读写操作。
- 通过复制或纠删码进行数据保护——系统在定义的故障域内应用复制或纠删码来确保数据持久性。复制在不同的节点上存储多个副本，而纠删码则分发奇偶校验数据，以便在驱动器或节点发生故障后进行数据重建。
- 分布式元数据服务——元数据跟踪数据段的位置，并通过分布式部署或复制来避免瓶颈。共识机制有助于维护集群范围内的一致性。
- 集群范围命名空间和访问接口——该架构通过文件、对象或块接口提供统一的命名空间，将物理数据放置与应用程序隔离开来。
- 动态重新平衡和故障恢复——当添加或删除节点时，数据会自动重新分配；硬件故障后，重建过程会恢复冗余。
通过这些机制，分布式存储集群可以实现线性可扩展性、负载下的持续性能以及跨服务器、机架或站点级故障域的弹性。
分布式存储与传统存储
以下对比概述了分布式存储与传统集中式存储架构的不同之处。
传统存储系统依赖于通过更大的控制器、更多的磁盘或升级单个机箱内的硬件配置来扩展容量。性能和可用性通常受限于控制器的限制。 chassis 容量。
分布式存储通过将工作负载分散到多个节点上来消除这些瓶颈。随着需求的增长，可以将更多节点集成到存储集群中，从而线性扩展容量和吞吐量。这种横向扩展模型是现代横向扩展存储、软件定义存储平台和云基础设施的基础。
分布式存储系统的类型
分布式存储架构可以根据工作负载需求、访问方式和性能目标以多种形式实现。尽管所有分布式系统都具有横向扩展和多节点协同等核心特性，但它们在数据结构、访问和管理方式上却有所不同。
分布式文件系统
分布式文件系统在多个存储节点之间提供共享文件访问，同时保持统一的命名空间。用户和应用程序通过标准文件协议与数据交互，而系统则将文件段分布在集群中，以平衡性能并防止故障。这些系统通常部署在高性能计算环境、分析平台和企业文件共享基础设施中，这些环境需要并行访问和处理大型数据集。
分布式对象存储
分布式对象存储将数据以离散对象的形式存储在扁平的地址空间中，而非采用层级式目录结构。每个对象包含数据本身、关联的元数据以及唯一标识符。这种架构能够实现大规模扩展，并简化大型存储集群的数据管理。对象存储广泛应用于云环境、备份存储库、内容分发平台、数据湖以及人工智能训练管道等以非结构化数据为主的场景。
分布式块存储
分布式块存储以原始块设备的形式向操作系统和应用程序提供存储卷。在后台，系统会将数据块分布在多个节点上，以确保可用性和性能。这种方法通常与虚拟化平台、容器编排系统以及需要稳定延迟和可靠性能的数据库工作负载集成。
软件定义存储平台
软件定义存储平台将存储服务与底层硬件隔离开来，从而实现对分布式集群的集中式管理。通过跨多个服务器汇集资源，这些平台利用软件智能应用策略驱动的自动化、复制策略和性能优化。软件定义存储通常将文件、对象和块服务集成到统一的分布式架构中，支持混合云、多租户和大规模企业部署。
分布式存储的优势
现代分布式存储方案为企业数据中心带来了可衡量的运营和架构优势。具体而言，它们：
- 通过增加存储节点，实现容量和吞吐量的逐步扩展，从而实现水平扩展，无需进行破坏性的硬件更换。
- 通过消除单点故障来保持高可用性，并确保即使单个驱动器、服务器或机架发生故障，工作负载也能继续运行。
- 通过在定义的故障域中进行复制或纠删码来提高恢复能力，并利用自动重建流程在硬件事件发生后恢复保护级别。
- 通过将数据分布到多个节点上，实现并行性能，从而为分析、 AI 训练管道和高并发企业应用程序实现高聚合吞吐量。
- 通过使用标准化的模块化存储节点，使基础设施增长与预算周期和长期数据中心规划保持一致，从而支持经济高效的扩展。
云和人工智能环境中的分布式存储
分布式存储是云计算和人工智能基础设施的基础，因为它能够在集群环境中提供可扩展的容量和持续的吞吐量。云平台依赖于弹性多节点存储架构，这种架构能够在机架或数据中心内逐步扩展，同时保持可用性。
在人工智能环境中，分布式存储构成了现代人工智能存储基础设施的基础，它支持必须由多个计算节点同时访问的大型训练数据集。图形处理器 (GPU) 集群需要持续的高带宽数据流来维持利用率。通过聚合各个存储节点的性能，分布式系统提供了必要的并行吞吐量，从而防止模型训练和大规模分析过程中出现计算瓶颈。
数据本地化也至关重要。将存储位置与机架级或集群级计算资源相匹配，可以降低延迟并最大限度地减少不必要的网络流量。在基础设施层面，分布式存储可与高容量存储服务器、高带宽网络架构和高密度机架配置集成，从而实现模块化扩展，以满足数据中心规模增长和优化后的 AI 工作负载需求。
分布式存储的基础设施要求
分布式存储架构依赖于均衡的计算、介质、网络和设施设计，以实现可预测的可扩展性和性能。
计算层
- 存储节点必须是专用服务器，能够支持高硬盘数量和足够的存储空间。 PCIe 通道，以及用于网络和加速器的扩展。
- 处理数据服务、纠删码计算、压缩、加密和元数据管理需要处理资源，而不能成为性能瓶颈。
存储介质
- 硬盘密集型系统提供高容量层，针对大型数据集、备份存储库和对象存储集群进行了优化，在这些场景中，每TB的成本至关重要。
- NVMe层可为存储集群内的元数据服务、缓存层和对性能敏感的工作负载提供低延迟和高每秒输入/输出操作 (IOPS) 性能。
网络
- 需要高带宽连接来聚合各个节点的吞吐量，防止东西向交通拥堵。
- 低延迟架构可改善集群系统中的同步、元数据一致性和重建操作。
电力和冷却
- 机架功率密度必须在紧凑的空间内满足高驱动器数量和多节点配置的需求。
- 在数据中心规模下，通过现代冷却系统进行热管理对于保持性能一致性和硬件可靠性至关重要。
分布式存储的挑战
分布式存储虽然带来了显著的可扩展性和弹性优势，但也引入了架构和操作上的复杂性，必须加以谨慎管理。
- 网络依赖性增强，因为存储性能和可用性严重依赖于节点之间稳定、高带宽、低延迟的连接。
- 数据一致性复杂性增加，需要协调的元数据服务、共识机制和精心设计的故障处理，以防止数据损坏或脑裂情况。
- 扩展运营管理，包括集群监控、软件生命周期更新、容量平衡以及跨多个系统的故障域规划。
- 潜在的延迟权衡，尤其是在地理分布的部署中，跨站点同步或重建操作可能会引入延迟。
分布式存储和横向扩展架构
分布式存储是横向扩展架构的基础组成部分，在这种架构中，基础设施通过添加模块化资源而非升级集中式系统来实现增长。在超大规模数据中心中，这种模型能够实现数千台服务器的可预测增长，支持海量数据集，同时保持机架和故障域之间的故障隔离。容量和性能与计算能力同步扩展，从而允许基础设施逐步演进。
云服务提供商依靠分布式存储来提供具有高持久性和高可用性的弹性多租户服务。该架构支持跨集群环境的自动化配置、地理分布和工作负载迁移。
在人工智能基础设施中，分布式存储与GPU加速的计算集群和高性能计算架构相辅相成，确保能够并发访问大型训练数据集而不会出现瓶颈。同样，大规模分析平台也依赖分布式存储来并行处理结构化和非结构化数据，从而在数据中心规模下实现更快的洞察和持续的吞吐量。
常见问题
- 分布式对象存储与分布式文件系统在实践中有何不同？
分布式对象存储采用基于 API 的访问和扁平命名空间，针对海量非结构化数据集进行了优化；而分布式文件系统采用分层结构和文件协议，适用于共享企业和高性能计算工作负载。 - 分布式环境中的横向扩展存储是什么？
横向扩展存储允许通过向存储集群添加节点来增长容量和性能，从而实现增量扩展，而无需更换现有基础设施或中断运营。 - 分布式存储适合企业级工作负载吗？
是的，通过复制或纠删码、集群架构和适当的网络设计，分布式存储可以满足企业对可用性、持久性和大规模持续性能的要求。