全新自研存储架构,突破成本极限
时间:2022-04-30 17:39:02 | 来源:行业动态
时间:2022-04-30 17:39:02 来源:行业动态
我们知道归档存储相较于其他存储,最大的优势就是成本更低。UCloud新一代归档存储产品属于对象存储的大类下面,采用UCloud全新自研存储架构,相较标准存储降低近80%的存储成本,价格低至0.024元/GB/月,与市场同类归档存储产品相比降低近30%成本,为用户提供最低价格的归档存储解决方案。
UCloud优刻得存储平台资深研发工程师方然表示,基于云计算模式的数据存储是大势所趋。公有云上的存储成本主要由硬件成本及运营成本构成,硬件成本就是设备成本,而运营成本是存储服务上线运营期间的成本。所以,UCloud新一代归档存储产品也是从这两个方面进行创新,降低存储成本。
为了降低硬件成本,UCloud新一代归档存储在国内首次采用了西部数据的高密JBOD机型和SMR盘,并首次利用自研存储架构实现该技术落地,在保证长期数据持久存储的可靠性同时,大幅缩减存储成本,让客户能够保存更多有价值的历史数据;仅需要花原本标准存储20%的费用,企业就能够将大量数据进行长期的存档备份。
方然说,SMR盘全名为叠瓦式磁记录硬盘,相较于传统CMR磁盘,SMR磁盘最大的区别是,它的磁道是按Zone呈现的叠瓦式分布,这种分布带来的好处是可以更高密度的存储数据。与36盘传统机型相比,采用高密机型SMR盘后,单位机架的存储容量提升5.375倍,磁盘数量增加59%,单块磁盘存储空间提升150%。
UCloud在新一代归档存储中,基于多年公有云分布式存储经验积累,采用新一代自研归档存储架构,使产品可以兼容SMR、CMR盘、双活高可用、支持上下电的IO调度、EC的灵活配置和磁盘故障自动化发现;充分利用高密机型SMR盘的硬件优势,并采用自研架构降低硬件成本。
在我们的全新归档存储架构中,我们的存储层对下屏蔽了具体的磁盘种类,封装成了以Zone为单位的存储结构,对外展示为我们的Blob层,提供以Blob为单位的创建、删除,追加写、随机读等操作。并且支持灵活的EC配比,支持磁盘上下电的IO调度系统,支持磁盘故障的自动化发现并以Zone为单位进行修复。通过这一套归档存储框架,我们可以充分利用前面说到的高密机型SMR盘等硬件设备,在硬件成本中提升存储成本的占比。方然说。
在降低硬件成本的基础上,UCloud新一代归档存储,采用软硬件协同的理念,降低运营成本。在运营成本中,设备电费占大头。结合硬件的选型,UCloud新一代归档存储在软件层面上,自主研发了一套磁盘上下电调度系统,可以保障磁盘寿命的同时,极大降低电费成本,使磁盘能耗降低近90%, 在纯写入场景下,耗能磁盘块数为原有的5%。
UCloud在设计IO调度算法的时候,主要考虑以下两个方面:一个是磁盘本身对于上下电行为的寿命,保证磁盘在其寿命范围内上下电的频率不超过一定的数量;另外一个就是在目前这种超高密度的架构下,系统的最优网络存储配比,充分发挥所有的硬件性能能力而不会受到IO调度的影响。
在可靠性方面,UCloud新一代归档存储实现了存储节点双机头可见,在发生故障时,可以快速自动切换;通过采用大比例可灵活配置的EC,提高存储利用率150%;通过硬件加速,使EC计算相较于传统的纯软件计算,提升4-5倍吞吐。新一代归档存储还实现了全链路的CRC校验,来全面保障用户数据的安全性。
方然表示,UCloud新一代归档存储在协议支持方面进行了兼容,与企业的业务系统进行适配,方便企业将数据进行迁移备份。总之,UCloud新一代归档存储产品保证99.9%以上可的用性冗余策略,与标准存储相同的99.999999999%数据持久性,但是0.024元/GB/月相较标准存储降低近80%的存储成本,突破价格极限,为客户达到极致成本的追求以及数据可靠性的保障。