为充分挖掘主流硬件计算能力提供全新思路
时间：2022-04-01 17:39:02 | 来源：行业动态
时间：2022-04-01 17:39:02 来源：行业动态
成立于2020年的CoCoPIE公司为市场提供了一种全新的解题思路即压缩-编译协同。如我们所知，当下AI算法的底层基于的是深度学习，模型越大获得的准确度就越高，模型一旦被压缩，准确度就会下降，这就解释了AI应用为什么对算力有着如此高的要求。
CoCoPIE认为，在有限的硬件条件下，精准度和高效能之间并非不能取得平衡点。我们发现，AI任务在现有硬件上表现不好的重要原因是两个一方面，现有的AI计算中有很多冗余计算，另一方面，现有的运行引擎没能充分发挥芯片的潜力。要解决这些问题，必须打通从AI任务到芯片架构之间的直通桥梁，进行压缩和编译协同设计。CoCoPIE公司负责人李晓峰向至顶网记者解释。
CoCoPIE公司负责人 李晓峰
压缩的过程就是把模型变小，编译就是把模型变成可以在最终芯片上执行的指令。而这个过程必须是一体化协同设计的，才能同时保持高精度、高效率和高性能。具体来说，CoCoPIE提出了一种全新的基于模式的权重剪枝方法。基本思想是，针对不同的上层模型特性和底层芯片结构，对权重可以选取不同的模式进行剪枝。这种压缩方式本质上是一种细粒度的结构化剪枝，可以保证在有效减少计算量的前提下依然保证准确率不变。
据李晓峰介绍，目前该技术植入终端设备的方式有很多种。比如，可以通过与芯片公司合作，直接作为芯片AI技术栈的驱动框架；也可以和应用开发商合作，作为应用的一个模块。作为一种软件技术，我们对AI任务的部署方式很灵活。并且，对终端设备的要求也不高，只要芯片具有矢量计算能力就行。这意味着，目前市场大多数的主流芯片都可以满足，当然，哪怕没有矢量计算能力，我们的技术仍然可以发挥作用，只不过能力会受到一些限制。李晓峰补充说。
在线咨询
