18143453325 在线咨询 在线咨询
18143453325 在线咨询
所在位置: 首页 > 营销资讯 > 行业动态 > 02、数据恢复速度测试:

02、数据恢复速度测试:

时间:2022-03-19 13:03:02 | 来源:行业动态

时间:2022-03-19 13:03:02 来源:行业动态

当系统节点出现故障时,采用纯内存的参数服务器需要从数据存储集群(如HDFS)重新申请模型参数数据恢复,耗时长,严重影响线上服务质量。采用持久内存的HyperPS则完全不同,节点发生故障或者程序崩溃后,数据依然保存在持久内存中,服务重启后只需要调用优化过的数据一致性检查函数,即可实现毫秒级实时恢复。





以恢复6千万维参数模型为例,纯内存参数服务器恢复模型需要花费58秒,而持久性内存参数服务器只需要0.03秒,故障恢复时长缩短将近2000倍。



恢复20个模型总计12亿维参数测试中,纯内存参数服务器数据恢复时间随着数据总量增加而大幅增长,而持久内存的参数服务器几乎没有受到影响,只需检查哈希表元数据后即可提供服务,其恢复时长缩短17114倍。

关键词:测试,速度,恢复

74
73
25
news

版权所有© 亿企邦 1997-2022 保留一切法律许可权利。

为了最佳展示效果,本站不支持IE9及以下版本的浏览器,建议您使用谷歌Chrome浏览器。 点击下载Chrome浏览器
关闭