百度智能云副总经理谢广军
时间:2022-04-25 02:06:01 | 来源:行业动态
时间:2022-04-25 02:06:01 来源:行业动态
这些海量数据的存储对于百度智能云来讲,最大问题是如何降低高昂的存储成本。一方面互联网公司数据量越来越大,数据保存成本负担太重,需要大量扩展其搜索引擎和云存储。另一方面数据的合规保存。国家对互联网行业的管理要求越来越严格,多数数据必须有归档。同时,国家对互联网日志类数据保存时长要求超过10年。
百度智能云对于海量数据需要按照读写频率和冷热数据等特性对于存储进行不同层次的布局,我们希望提供透明化的生命周期的管理。从产生的初期的热数据到系统感知到其访问频率降低,再到没有太多的访问,可以做到从高性能的存储平台到冷存储平台低成本存储。同时,这些数据需要调用的时候,能比较快被调用出来。 谢广军讲到。百度智能云需要一种既能降低成本,又能在其庞大的分布式文件系统中提供透明IO的解决方案。
百度智能云一方面基于新一代存储介质打造高性价比存储产品,一方面重视软硬件结合的方案,搭建分布式存储的系统。据了解,百度把高IO的数据读取放在持久内存型的存储系统,打造基于NVMe RDMA技术,提供单盘百万级IOPS及千MBps吞吐高性能SSD云磁盘。与此同时,百度基于IBM磁带库平台,实现EB级磁带规模应用,这也是国内第一家上线磁带归档服务的云平台。