自带云基因的青云存储QingStor U10000，轻松敲开“数据管理”的大门

时间：2022-07-11 11:00:01 | 来源：建站知识

时间：2022-07-11 11:00:01 来源：建站知识

如今,随着数据量的快速增长、数据类型及来源不断变化,越来越多的企业组织对于数据的采集、管理、应用的诉求也越来越多样化。在业务应用要求数据更具实时性、移动性和安全性的同时,也使得传统、单一、陈旧的数据管理方式在容量、性能需求瓶颈、信息孤岛、一次性建设成本高等方面的弊端逐渐暴露出来。

青云科技(qingcloud.com,股票代码:688316)存储产品总监冯相东表示,青云科技将场景和算力的变化视为推动存储产业向前发展的两个最主要因素。在不断适配多元场景和算力的基础上,青云科技还持续探索如何让数据更好地流动起来。冯相东提到,海量数据的涌现使得越来越多的人意识到只是将数据简单的存储起来,并不能发挥数据的真正价值,只有让数据流动起来,让其完整地经历全生命周期的不同阶段,才能充分挖掘数据的潜在价值,从而推动数字化业务的不断变革。

“在数据流动的完整链条里,从最初的采集、处理到后面的归档、再利用、销毁,都需要存储与大数据技术、存储与 AI 技术的融合创新,这能让数据更高效地被捕获、被索引、被分析和被加工,从而实现数据层面的点石成金。这也是青云科技一直努力研究的重要方向。”冯相东如此说道。

专业+自研 青云存储不走寻常路

在数字经济时代,数据在经济活动中的作用变得越来越重要,不仅能够帮助人们更好地组织和规划生产经营,更能有效地进行判断和预测。在这种背景下,数据毋庸置疑的就成为了新的生产要素。

既然数据是一种重要的生产要素,那么让其得到更为有效的配置和利用,就成为企业在激烈的市场竞争中形成核心竞争力的关键所在。“无论是从宏观的国家政策和市场层面,还是具体到科技企业本身,都在积极拥抱数字化,加快推动数字产业化和产业数字化进程。身处其中,青云存储通过专业和自研的产品创新,能够帮助企业更好地管理和洞察数据,从而推动企业业务转型。”冯相东如是说。

目前,青云科技经过存储产品的迭代和演进,QingStor 产品线主要有两款核心产品构成:一是 QingStorNeonSAN,二是 QingStor U10000。QingStorNeonSAN,主要面向的是云盘、数据库,以及虚拟化存储资源池等结构化数据场景的应用。相比NeonSAN,U10000 通过提供对象、文件、大数据接口,以及不同协议之间数据无损访问互通等技术支持,能够在影像、音视频、数据湖、大数据、物联网等众多非结构化数据场景中,帮助客户更高效地实现海量数据的价值挖掘。

冯相东表示,青云存储主要是通过这两款独立的产品、独立的软件架构分别支撑两大类场景。QingStorNeonSAN面向的是结构化数据的高性能业务场景需求,而QingStor U10000是面向非结构化海量数据存取和利用的业务场景需求。“两款产品有各自面向的专业场景,有各自专业的分工,青云希望通过专业的存储分工能更好地服务专业的场景。因为从专业技术的视角来看,存储架构是没有银弹的,没有哪一种架构能同时做到既能满足极致的性能设计要求,也能满足海量数据吞吐、计算、并发利用的需求。”冯相东进一步解释道。

在专业存储服务专业场景的同时,青云科技还致力于打造真正自研的中国存储。从产品上来看,QingStorNeonSAN 和 QingStor U10000 都是自主设计,没有继承任何开源架构,因此不存在任何知识产权风险。冯相东表示,青云存储坚持自研,一方面来自于青云科技对技术的追求。因为经过严谨的技术评测,青云科技认为没有一款开源存储方案,能够满足通用大规模云计算平台的需求。另一方面青云科技作为中国云计算公司,希望通过自身努力消除企业对数据安全的顾虑,以真正自研的中国存储服务于数字中国建设。

存、算、管三位一体 非结构化数据存储的必备能力

时至今日,非结构化数据在各行各业中占比越来越多。例如,医疗行业的影像资料、教育行业的教学教研文档、传媒行业的音视频素材、公安执法的视频存档等。IDC预测,到2025年,全球的数据总量将达到175ZB,而80%的数据都将是非结构化的。

随着数据的巨量增长,非结构化数据需要应用于自动驾驶、基因测试、生命科学、人工智能等现代化应用中,这需要非结构化的数据存储产品应该具备哪些特征,以满足不同的应用需求?对此,冯相东表示,在这些场景下,存储需要具备存、算、管三方面的能力。不仅如此,这其中还要求存储产品支持多场景的数据流通、多种应用实现无缝对接,以及复杂存储架构的承载能力。

由此来看,QingStor U10000能够满足客户对于非结构化数据存储产品的所有想象。它的定位是面向海量非结构化数据的统一存储平台,帮助客户把数据存得稳、算得快、管得好。具体来看,U10000继承了原来青云对象存储、文件存储的所有能力,并且在多个维度上实现了产品的增强和迭代。因此,U10000不是一款全新的产品,而是青云科技存储产品线在非结构化数据产品上的一次全面升级。

“U10000主要面向私有云场景,产品的形态可以是软硬一体机,也可以只购买U10000的软件授权。如果涉及到云服务,青云科技会在公有云上提供对象存储服务和文件存储服务。如果只采用 U10000产品,作为一款面向私有云领域推出的非结构化数据存储产品,它能够全方位满足客户对于数据存储、管理、应用,以及安全防护等方面的需求。”冯相东说道。

四大核心能力 让U10000实时就绪

U10000的核心架构由接口层、存储服务层、统一运维平台三部分构成 。在接口层,U10000 提供一系列供业务调用的存储接口,包括标准的SMB接口、NFS接口。同时,还兼容标准的 POSIX 语义,并能自定义文件访问的接口。此外,还提供标准的对象存储 S3 和大数据访问的 HDFS 接口;在存储服务层,作为整个核心的存储引擎,存储服务层提供丰富的高级功能特性、多维度资源管理功能,以及核心机制,比如纠删码、多副本数据安全的机制等;统一运维管理平台,为运维或者使用者提供友好的可视化管理界面,实现对存储集群的各种配置、操作和监控。

在核心架构之下,U10000 具备支撑海量数据存储的能力 :一是线性扩展。U10000的元数据和数据存储服务都采用全分布式的架构,可以横向扩展大规模数据存储集群,并且在所有节点规模增长时均可以保证性能和容量的线性增长;二是EB 级集群/高得盘率。U10000 提供非常灵活的EC配比(即EC纠删码),用户可以根据业务的实际情况选择合适配比,U10000提供的最高EC配比可以保证整个集群物理磁盘的得盘率或者可用空间率达到90%以上;三是卓越性能。U10000 在保证线性扩展和高性价比EC集群的基础上,还能为通用场景,包括海量小文件场景提供卓越的I/O性能。比如,单桶单目录能支持百亿级小文件存储,并且能做到性能不衰减。

具备多协议无损互通的能力 :一是统一索引架构,提供多种存储能力。U10000在技术层面提供了统一的索引架构,并且基于统一的索引架构提供多种层次的能力。例如,基于对象接口、NFS/SMB、HDFS等协议存进来的数据,U10000都能通过统一的索引架构提供元数据的管理能力;二是多协议存储接口灵活选择。U10000在文件、对象、HDFS等多种存储形态和语义中,都提供了多种存储接口,例如,POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多种接口的支持,满足常见应用;三是协议互通让数据分析更高效。每一个协议存进来或者写入的数据,都可以通过其他协议进行读取,从而在完整的业务场景下满足数据在多个环节中处理的需求,真正让数据畅通的流动起来。

具备算力的无缝对接的能力 。U10000能够提供一系列完善的API、SDK,可以轻松对接大数据平台、数据处理的框架和服务,实现数据和算力的高效结合,最终让数据实现点石成金。

具备完善的数据安全机制 :一是元数据和存储数据的分层设计。元数据方面,U10000采用在元数据副本之间做数据强一致性的处理,在数据层面提供了副本和多副本的策略,并且有自校验机制和增量修复机制;二是多重访问安全机制。多重数据访问安全主要包括多租户访问隔离,包括基于用户、资源、访问行为或者访问IP的安全访问机制;三是智能预警机制。可以支持对所有资源做智能监控,并对关键资源做出提前预警,比如硬盘、网卡、存储节点等;四是运维监控平台。在运维监控平台里,U10000 可以提供资源管理、配置管理、告警、日志、监控等一系列运维管理服务。

青云科技产品技术解决方案总监张忠华表示,U10000 是以业务场景为驱动,依托将SDS平台作为算力核心的设计思想进行全面升级的。从客户的实际反馈来看,客户越来越倾向于一个整体的方案,而不是组装的方案。也就是说,客户更关注的是整体算力平台能带来什么价值。其中,存储是构成算力的重要部分,因此,青云科技对软件定义存储的思考一定不是孤立的,而是会把核心聚焦在如何满足算力对存储需求这个维度上,让存储更好地为算力赋能。