时间:2022-03-19 12:51:01 | 来源:行业动态
时间:2022-03-19 12:51:01 来源:行业动态
AI为企业带来出众的业务效果,同时企业也要承担AI产生的成本压力,特别是当AI规模化应用时。以某着名手机终端厂商为例,分别采用配备384GB纯内存服务器和配备2TB持久内存的服务器为预估单节点基准。每上线一个模型在在纯内存的参数服务器上占用内存空间大概是128GB。基于持久内存的数据结构由于其有额外的持久化逻辑,在空间复杂度上会略高于纯内存数据结构,其空间占用大概是204GB。在此基础上,估算企业上线1-100个模型参数服务器所需的纯内存物理节点数和配备持久内存的物理节点数量。关键词:企业