Goya与CPU、GPU在性能方面的对比
时间:2022-04-13 23:24:01 | 来源:行业动态
时间:2022-04-13 23:24:01 来源:行业动态
如何做到?Eitan Medina向记者解释,无论是GPU还是CPU,其架构都是面向通用计算或常用图形处理而设计的,因此在人工智能的计算工作中并不具备优势。而Goya则是完全针对人工智能需求进行的架构设计,这一独特架构称为Tensor processor core,能够让Goya支持不通的神经网络结构,进而处理不同的数据类型。这就是Goya能够提供如此高性价比的原因之一。
深度学习中Batch Size(批尺寸,即一次训练所选取的样本数)的大小直接会影响到处理器的性能。在GPU中,为了实现其最高性能,需要将这一数值设置得很大,大量数据在同一时间并行处理,这将无形造成计算的延迟。而Goya则可以将Batch Size设置为1,这意味着它可以一次处理1张图片,并且每秒钟处理超过7000张图片。这样的性能优势,使得它可以被应用于自动驾驶等对计算延迟要求极高的领域。
除此之外,在云计算场景中,Goya还可以做到多个用户共享单卡,从而降低用户的使用成本,让用户以更低价格享受更好的产品体验。
总的来说,Goya优势有三:一是强大的计算能力,二是高性价比,三是可以实现多用户之间的计算资源共享。当然,基于ResNet-50的测试只是我们众多性能测试的其中之一,除此之外我们还做了很多比较通用的模型测试,可以看到,在这些测试中,Goya也表现出了强大的性能优势。Eitan Medina 强调说。
据他介绍,Goya还为用户提供了一套名为Synapse AI的软件环境。SynapseAI软件栈包含一个丰富的内核库和开放工具链,以供用户添加专有内核。借此,用户不仅可以直接部署模型、进行定制化操作,同时还能帮助使用CPU和GPU的用户快速、轻松、准确地将之前的工作部署到Goya上。