跨越断层:让AI从实验室,真正走入生产流水线
时间:2022-04-19 15:33:01 | 来源:行业动态
时间:2022-04-19 15:33:01 来源:行业动态
从 BigDL 到 Analytics Zoo,其实也看到了英特尔软硬层的统一。
戴金权表示,用户在应用开发之时,可能在一个笔记本上构建一个简单的原型,在实验环境取得不错效果后,后续希望部署到生产系统中,这就容易出现一个断层。
即大数据处理工作与深度学习模型算法之间的断层,深度学习顶尖研究人员不断在突破模型,但是数据科学家、分析师、普通用户却很难将模型应用到现实的生产环境当中去。
这也是英特尔选择将 BigDL 和 Analytics Zoo开源的目的。
通过开源 Analytics Zoo,第一是能够将不同的框架无缝的集成到流水线里面去,第二是在开发过程中,可以嵌入各种深度学习的功能。这是我们的一个主要的出发点,可以帮助用户将整个大数据分析 AI 的应用从端到端流水线构建出来,而且它可以很方便的从笔记本运行到集群、运行到生产环境当中去,这是我们在底层Analytics Zoo这个平台里所做的工作。
戴金权还认为,当深度学习、人工智能应用场景更加广泛,要处理的数据更加广泛,因此构建端到端的大数据处理分析加上机器学习、深度学习的统一流水线成为刚需,而软件是一个很好途径,因为它更贴近用户。
如此来看,不仅是硬件,软件对于英特尔同样重要,尤其是在推进AI更广泛的部署中,今天可以看到一个趋势,就是这些大数据也好、AI也好,这些基础软件都是在一个开源的生态系统中来进行开发、优化,英特尔本身来说是在开源系统中非常重要的角色。
回到AI实际部署的话题,戴金权同样表示,其实BigDL 和 Analytics Zoo的初衷,正是希望将大数据处理分析和深度学习很好的整合在一个处理的工作流或者流水线当中,让AI不再停留在实验室,还要走到实际应用当中去。
目前,Analytics Zoo也已被MasterCard、腾讯、韵达物流等实际运用到生产线中,借助该技术,韵达每年传递的4.7亿件快递,可以快速完成分拣和运输,不但降低了一线快递小哥的繁重工作,还提升了运输车辆的效率,减少成本。
如今,英特尔将聚焦点放在了基于软件和硬件的协同创新上,因为计算力是在指数级的增长,如果想实现指数级的增长,必须要硬件和软件共同创新,软件社区和硬件社区应相互交流,并真正去思考彼此的问题,比以往任何时候都更重要。