为什么青云发布新一代分布式文件存储系统?
时间:2022-04-29 13:36:01 | 来源:行业动态
时间:2022-04-29 13:36:01 来源:行业动态
青云QingCloud 发布的QingStor文件存储,首先是云计算市场对于分布式文件存储的需求旺盛。Gartner的市场分析报告,谈到文件存储在当前市场需求中占据主流,像媒体领域、高性能计算领域,都需要文件存储,文件存储市场应用场景非常广泛。
其次,过去十几年出现的分布式文件存储系统在使用过程中面临了各种挑战和瓶颈。2000年以后出现了分布式文件系统,分为两种架构:一种是以Hadoop HDFS和LusterFS为代表的集中式索引架构,这种架构的缺点在于文件数量会受到单节点和索引节点容量限制;二是全对等Hash架构,完全抛弃单独的索引节点,其代表是GLuster和Ceph,这种架构的问题在于扩展扩容不方便,一致性较差。
因此,下一代分布式文件存储需要全面支持云应用,无缝兼容传统应用、按需使用,弹性扩容、智能管理与运维,避免人工运维带来的很多成本问题、以及高可用,7*24小时可用等新的需求。
那么QingStor文件存储如何做到架构创新,从而避免之前的问题呢?
首先,基于分布式块存储NeonSAN。它是具有高性能、强一致的块存储,没有本地文件系统在里面。如图有两种节点:分布式网关和NeonSAN。
第二,无限水平扩展。通过目录和文件分离存储的架构,元数据层存储所有索引目录,可以定位文件具体位置;还有一个组件是控制层,负责下层块设备的空间分配和事务管理。
第三,并行处理架构。所有的网关节点和NeonSAN节点是全互联的关系,每个节点之间都可以相互访问,且是通过最短路径。集群内数据复制与业务访问分离,分别通过不同的网络,因此在数据迁移和扩容时,不会对业务有任何影响。
采用了下一代分布式文件系统的QingStor分布式文件存储能做到安全可靠、强一致、高可用,并且具有超高性能、弹性可调等企业级特性,并且对成本做出了优化。