部署便利性:与推理套件无缝对接
时间:2022-03-07 01:03:01 | 来源:行业动态
时间:2022-03-07 01:03:01 来源:行业动态
TAO所训练出来的文件,是兼容于TensorRT加速引擎的中间模型,只要在推理平台上透过tao_converter工具,就能轻松转换成该平台上的TensorRT加速引擎,无需透过繁琐的ONNX方式进行转换。
此外,这个中间模型也能在推理平台上,无缝地与DeepStream、Triton Server、RIVA这些推理工具进行对接,大幅降低过去部署过程的复杂度,让整个应用流程变得十分轻松。
现在开始使用TAO工具,就能比传统模型训练的过程,减少90%的学习、撰写代码、测试与部署等步骤所需要的时间,让研发单位提高应用开发效率,更快速、更高频地开发高价值的人工智能应用。【完】