三副本vs双重RAID
时间:2022-04-13 20:27:02 | 来源:行业动态
时间:2022-04-13 20:27:02 来源:行业动态
:
超融合的核心在于分布式存储,而对存储最基本、最首要的要求,就是稳定性与数据安全性。
以Ceph为代表的三副本分布式存储,采用无中心分布式元数据管理的CRUSH算法,将每个数据块的三个副本(一主两从)随机保存在三个存储节点上。当某个硬盘损坏时,CRUSH算法可以自动再平衡(re-balance)数据,以最快的速度确保每个数据块都有三个副本。
上述三副本工作机制带来以下几个问题:
- 每次数据写操作需要写到三个不同的存储节点,导致跨节点网络开销大,以及较大迟延,拉低系统IO整体性能
- 在数据再平衡过程中,容易导致重建风暴,导致性能下降25%-75%,甚至产生OSD flapping等不稳定现象
- 三副本最大可容忍2个机械硬盘同时损坏,当系统出现第3个硬盘故障时,极有可能导致数据丢失、系统崩溃
为应对三副本分布式存储面临的问题,道熵铁力士超融合创造性提出了双重RAID机制,既保留了Ceph无中心分布式元数据管理带来的高扩展性特征,又通过节点内RAID解决了Ceph所面临的稳定性及数据安全性的缺陷。其基本原理是:每个存储节点通过存储虚拟化技术,把节点上的所有磁盘构成一个具有RAID功能的存储池,在其上构建多个虚拟卷vOSD,通过CRUSH分布式数据管理,产生跨节点两副本。这种节点内RAID与跨节点的网络副本相结合的方式,构成了对数据的两重RAID保护,因此简称为双重RAID机制。
双重RAID机制与三副本相比,具有以下优势:
- 每次数据写操作仅需要写到两个不同的存储节点,节约跨节点网络开销1/3,可显着降低写延迟,提升系统IO性能
- 当硬盘损坏时,可通过本地(节点内)RAID功能对数据实现修复,无需消耗宝贵的网络资源,因此可消除网络重建风暴。在重建过程中,vOSD仍然保持健康状态,可避免OSD flapping等不稳定现象
- 由于本地RAID的存在,每个节点最大可容忍一个或多个硬盘故障,仍然保证数据安全。随着节点数增加,整个存储系统可同时容忍的最大硬盘故障个数随之增加。因此,其故障容错能力与数据安全能力,显着优于三副本机制