HPDA：从数据中攫取价值
时间：2022-03-28 22:33:01 | 来源：行业动态
时间：2022-03-28 22:33:01 来源：行业动态
我们手中智能手机的算力，远超NASA在1969年登月计划中最先进计算机的算力，但相较于手机，HPC所要解决业务的复杂水平，也呈现指数级发展，一大变化就是数据的爆炸式增长，使得原有HPC架构的存储不堪其重。
传统HPC主要从仿真物理模型中计算价值，需求是无与伦比的大算力，而HPDA泛指利用HPC资源的数据密集型负载，典型特点是数据量大、时效性强以及算法复杂，从数据本身提取价值，两者业务逻辑不同，导致存储需求不同。
例如地震勘探从二维向三维的演进中，数据量增加了5-10倍；电影渲染从2K升级到8K的革命中，数据量增长16倍；卫星测绘领域，探测精准度由20米缩小到2米，数据量同比增长70倍。海量的数据，需要高性能的存储，这是HPC向HPDA演进要解决的根本性问题。
传统HPC的存储主要用来文件共享、Scratch和归档，AI业务负载则涉及到数据收集、输入、清洗、训练、推理和归档一系列复杂操作，原有存储系统并不是为这种存储工作流程而设计的，自然也就无法很好满足新存储的需求。
在关键性能要求上，传统HPC负载通常基于顺序大I/O型，AI业务负载需要顺序大和随机小I/O型的混合，用于AI训练的数据存取需要快速的随机小I/O型。
应用场景的变化催生了各种耐用性和弹性解决方案需求。例如归档需要极具高性价比的解决方案，没有苛刻的性能要求；传统的临时应用需要将临时结果转移到持久存储，需要高性能以防止出现故障；HPDA 解决方案需要混合存储需求同时满足高性能、瞬态存储和持久弹性存储的不同要求。
此外，当存储系统变得复杂化，内部多种协议发展为另一种壁垒，不同数据采用不同的访问方式，每种访问方式都需要独特的协议支持，横亘在业务负载中消耗通信时间和计算资源。
据IDC统计，全球67%的高性能计算中心（HPC）已经在使用AI、大数据相关技术，HPC与AI、大数据加速融合，如何从海量数据中更高效、更经济地释放更大的数据价值，成为迫切诉求，存储系统的改变至关重要。
在线咨询
