软硬件协同实现最强性能
时间：2022-03-25 03:39:02 | 来源：行业动态
时间：2022-03-25 03:39:02 来源：行业动态
推理（Inference）指计算机通过运行AI软件来识别对象或进行预测。在这个过程中，计算机使用深度学习模型来过滤数据，进而发现人类所无法捕捉的结果。
MLPerf推理基准测试基于当今最常用的AI工作负载和场景，涵盖计算机视觉、医学影像、自然语言处理、推荐系统、强化学习等。
MLPerf测试结果能够帮助用户更好地进行采购决策，NVIDIA是唯一一家在本轮和迄今为止每一轮测试中取得所有MLPerf测试结果的公司。
随着AI用例从数据中心扩展到边缘和其他领域，AI模型和数据集将不断增加。就是为什么用户需要既可靠又能灵活部署的性能。
除了最新的A100硬件加持，NVIDIA能够在所有AI用例中取得成功的一个关键因素是其完整的软件栈。
在推理方面，这包括针对各种用例的预训练AI模型。NVIDIA TAO Toolkit运用迁移学习为特定应用定制这些模型。
NVIDIA TensorRT软件对AI模型进行了优化，使其能够最有效地运用内存并且实现更快的运行速度。NVIDIA经常使用该软件进行MLPerf测试，该软件可用于X86和Arm的系统。
在这些基准测试中，NVIDIA还采用了NVIDIA Triton推理服务器软件和多实例GPU（MIG）功能。它们为所有开发者提供了通常需要专家级程序员才能实现的性能。
随着该软件栈的不断改进，与四个月前的MLPerf推理基准测试相比，NVIDIA提升了高达20%的性能和15%的能效。
在线咨询
