所在位置：
首页 >
营销资讯 >
行业动态 > 用于人工智能（AI）和机器学习（ML）的定制化芯片
用于人工智能（AI）和机器学习（ML）的定制化芯片
时间：2022-03-16 10:15:01 | 来源：行业动态
时间：2022-03-16 10:15:01 来源：行业动态
如今，几乎每一位AWS客户都或多或少需要处理AI和ML负载，包括金融服务、医疗保健、制造和零售等多个领域。客户已经意识到AI和ML对于保持竞争力、为客户提供更佳体验的重要意义。但当前AI与ML面临的最大挑战，就是高昂的实施成本。
AI与ML分为两个阶段。我们首先需要训练模型，之后才能利用这些模型执行推理机器学习与深度学习都需要遵循这样的流程。云则是AI与ML的理想承载平台，不仅提供丰富的高性能计算、高速网络与海量存储资源，同时也允许用户以按需方式灵活控制资源成本。
大多数客户希望利用AI/ML的力量为业务和客户体验提供积极影响，但却一直受困于模型训练和推理带来的高昂成本。AWS致力于提高模型性能、降低AI/ML实施成本，而定制化AI与ML芯片也正是为此而生。
AWS发布的首款面向推理应用的机器学习芯片名为Inferentia。推理过程的实质是对传入数据进行实时分析；AWS决定以此为起点，是因为ML中约九成成本源自推理负载。Inferentia能够以远低于GPU实例的价格提供机器学习推理所必需的高性能与吞吐量。
AWS还提供AWS Neuron SDK，帮助开发人员通过TensorFlow及PyTorch等框架轻松从基于GPU的推理模型迁移至Inferentia。
与推理类似，ML训练同样极耗资源，需要大量并行处理的高性能算力。在这一领域，训练时间与训练成本是同等重要的两大核心指标。客户需要不断收集新数据以重新训练模型，这就让训练成本成了一个无底洞。
AWS利用高并行数学运算与更高的ML模型训练算力加快整个过程，将网络吞吐量由基于GPU实例上的每秒500 Gib提升至每秒800 Gib；同时在网络与训练芯片之间提供高吞吐量互连、降低延迟，由此实现更快的云端ML训练速度。
通过高速网络，客户可以创建EC2 UltraClusters并使用800 GB网络将数千个训练加速器汇聚起来，建立起PB级的无阻塞集群。其在本质上已经属于小型超级计算机，能够显着缩短复杂模型的训练时长。
由AWS Trainium芯片支持的全新Trn1实例致力于在云端提供最快的机器学习训练速度与最低实施成本；与配备英伟达A100的最新P4d实例相比，Trn1实例在训练深度学习模型的成本方面可降低达40%。AWS表示，Trainium芯片的峰值机器学习模型训练性能可达最新P4d实例的1.5倍。
在线咨询
