所在位置:
首页 >
营销资讯 >
行业动态 > Amazon SageMaker Serverless Inference(预览版)
Amazon SageMaker Serverless Inference(预览版)
时间:2022-03-04 22:04:01 | 来源:行业动态
时间:2022-03-04 22:04:01 来源:行业动态
,让开发者无需配置或管理底层基础设施即可部署机器学习模型进行推理,按执行时间和处理的数据量付费。
由此,我们可以看到云上的 Serverless 服务越来越多,无服务器计算的能力已经从计算、存储、数据库服务扩展到数据分析,以及机器学习的推理。以前机器学习的推理需要启动大量的资源来支撑峰值请求。如果使用 EC2 推理节点,空闲资源会推高成本,而使用 Amazon Lambda 服务,就不需要再考虑集群节点管理这些事情,服务会根据 Workload 自动预置、扩展和关闭计算容量,只为执行时间和处理的数据量付费,相比之下能节省很多。
Amazon Serverless 服务在不断进化的同时,计算架构也在不断改进,比如用户可以将原来的 Intel x86 处理器,通过平台提供的选项配置为 Amazon Graviton2 ARM 处理器,性能更快且能便宜 20%。有技术专家认为,平台也会朝着更智能的方向发展,现在需要用户改配置选择更便宜的 ARM 处理器,未来服务完全可以做到自动选择计算平台。
作为云计算的一种演进方式,无服务器的愿景必定会改变我们对编写软件的看法。以前从来没有一种方法可以像云计算这样考虑如何使用数百万个处理器内核和 PB 级内存进行设计,而现在无服务器已经进入到通用和可用的阶段,用户无需考虑如何管理这些资源。
就像 Werner Vogels 博士在主题演讲里讲的那样:如果不用云计算,这些大型架构根本无法实现。所以现在,用属于 21 世纪的架构去随心构建你梦想的系统吧(Build systems the way you always wanted to,but never could)。