世界顶级选手在背后发力

时间：2022-03-08 05:15:02 | 来源：行业动态

时间：2022-03-08 05:15:02 来源：行业动态

不卖关子，团队在这项任务中的存储系统，便是来自华为面向高性能数据分析（HPDA）的分布式存储OceanStor Pacific系列。



它是一种可大规模横向扩展的智能分布式存储，可以hold住高性能计算、AI应用、数据库、大数据分析和海量数据备份归档等业务需求。

而OceanStor Pacific之所以能协助团队在此次任务中打破世界纪录，是因为它自身就是头顶世界顶级选手光环的那种存储系统。

在国内范围来看，更是独秀一枝，不论是整体、文件存储、对象存储还是块存储方面，都是稳居市场第一。

而且不仅是市场方面的表现，从性能榜单上来看亦是如此。

这不，就在前不久IO500 （高性能计算领域针对存储性能最权威世界排行榜之一）发布的最新榜单中，华为存储HPDA Lab（由华为OceanStor Pacific存储支撑）位列第二。



那么问题来了，OceanStor Pacific系列存储凭什么？

从官方对它的介绍中，我们挖到了一条线索，那便是新一代：



这个新，可以总结为三个方面。

首先是超高密设计。

以OceanStor Pacific 9950为例，它具备单框8节点，5U、80盘位的特性。



而之所以能如此能装，是因为它将各种SSD（固态硬盘）都设计的非常小巧：



另外一款5U、120盘位的OceanStor Pacific 9550，更是能够达到单框最大可提供2.4PB的裸容量。

如此超高密度的设计，便可以支撑海量数据的存储。

基于这样的硬件设计之下，便是华为存储的第二个特性多到一，一到多，具体来讲就是：

多套存储变一套，一套存储支持多样化算力。



导致这样做的原因，根本上是高性能存储面临的负载类型越发复杂多样。

传统的做法就是来一个负载类型，就部署一个对应类型的存储；但这样做的结果，就是容易产生孤岛现象，而且不利于提高整体的效率。

而理想的状态就是存储系统可以满足一个既要又要高带宽、高IOPS。

（带宽型方面的衡量标准是单位时间内的数据总吞吐量；而IOPS则是单位时间内能处理的总的IO请求量、以及每个IO的处理时延。）

对此，华为存储所采用的策略就有点随机应变的味道了。

例如存储系统在面对大文件时，就对应大I/O，采用直通方式将数据写到磁盘。



这样做的结果，就让大文件的宽带处于业界2倍的水平。

而当与之相对的小文件到来时，就对应小I/O，主要是将数据聚合后写到磁盘：



不难看出，华为在数据存储这一块，可谓是内修功法、外用其力。

OceanStor Pacific系列存储的第三个独特性，便是打通协议的任督二脉。

华为存储提出这个特性的大背景，是因为现在在处理诸如基因测序这样的任务时，数据往往会呈现多种格式，例如文件、对象、大数据等等。

也正因如此，以往在整个数据处理过程中，单是数据转化、拷贝、加载这样的工作就占到了35%的时间。

于是，为了这方面的提高效率，就需要新的协议互通技术。

而这种新技术并不是指共池，在本质上是有着很大的区别。

共池主要共享硬件资源池，是在一套硬件上划分出多个独立的逻辑资源池，并根据不同的数据类型做部署。

但问题在于每个逻辑资源池只支持一种协议访问，也就是说跨协议的时候，还是需要经过数据拷贝的过程：



华为存储提出的协议互通技术则不然，实现的是多个协议共用一个硬件资源池。

而且还是同时支持文件、对象、大数据等多种协议访问的那种：



换言之，现在当一份数据走进存储系统后，不再需要做任何的转换了，可以直接被其它协议直接访问。

这便是打通协议任督二脉的奥义所在了。

而也正是因为刚才讲到的这些独有功夫，华为存储，这个世界级选手所涉足的领域早已不仅限于基因测序。

还有众多诸如此类的海量数据场景，例如能源勘探、气象海洋、智能制造、超算中心等等。



不难看出，华为在数据存储这一块，可谓是内修功法、外用其力。

那么最后一个问题便是：

数据存储，为什么这么重要？

因为一个非常明显的趋势是：

在智能时代之下，数据存储已经成为数据密集型应用的瓶颈。

或许你会说，数据量大，哪怕是PB级别，把算力堆上去不就可以了吗？

确实，在过去一段时间里，在处理像基因测序、生物制药等数据密集型应用时，大家似乎都会关注其背后的高性能计算（HPC）的效果如何。

每年的HPC Top 500 高性能计算机排行榜，也成为公众备受关注的保留节目。

但随着数据爆发式的增长，以及AI技术的不断推陈出新，数据密集型应用的发展不再仅仅聚焦在算力方向。

正如IDC所统计的那般：

全球67%的高性能计算中心已经在使用AI、大数据相关技术。

换言之，HPC、AI和大数据，它们三个融合的速度正在加快。

也正因如此，数据密集型应用正在步入一个新的时代 高性能数据分析 （HPDA）。

在这个时代之下，类似自动驾驶、基因测序等任务，对于数据分析的实时性要求越来越高。

而要实现这一点，也正如刚才我们所阐述的，离不开数据存储系统这一夯实的底座。

唯有这根定海神针足够稳固、扎实，且需得具备技术上的创新，才能保证其上层的工作以及上层与之的交互畅通无阻。

但比起应用方面的丝滑，通过推进新一代存储系统（即HPDA）来进一步发展数据密集型应用，这件事还具有更深远的意义。

例如油气地震勘探也在进入海量数据时代，需要采用大量的高性能计算和大数据分析技术。

但痛点也正如刚才我们提到的，其间的任务绝不是单一的，所产生的数据类型、结构也是纷繁复杂。

而通过新一代存储系统的优势，就可以做到规模化统一部署，以此来提高整体流程的效率。



再如超算中心、智能医疗、自动驾驶，甚至是宇宙探测等，均是需要HPDA的能力来完成对海量数据的高效分析。

这些亟需注入新力量的领域，恰恰正是科技、经济强国所发力的地方。

从另一种角度来看，新一代数据存储正在成为国家的关键基础设施，堪称国之重器。



而华为OceanStor Pacific系列存储，无论是从市场份额、技术实力排名等等，均已成为国产新一代数据存储系统中的不二之选。

但比起亮眼的成绩，在最重要的实际行动方面，华为OceanStor Pacific系列存储也已经是处于进行时了。

至于接下来在HPDA时代中，新一代数据存储的技术进步还将结出怎样的硕果，是值得拭目以待了。