一套系统支持各种并行模式

时间：2022-04-06 14:24:01 | 来源：行业动态

时间：2022-04-06 14:24:01 来源：行业动态

不同神经网络的最优并行方法并不相同，像CNN这类大数据、小模型的神经网络层次最好用数据并行，对超大的全连接层这种模型更大的层次最好用模型并行，对于feature map超大或者层次超深的神经网络更适合流水并行。

但很不幸，原有主流框架仅支持常用的数据并行，要想使用模型并行或者流水并行功能，就必须借助某种插件或者做深度定制，而且这种定制系统都只能用于HugeCTR，Megatron-LM等某一种类型的神经网络。

OneFlow在系统层面支持了数据并行、模型并行和流水并行，不需要额外的插件和定制开发，就可以以最小代码量高效支持任何神经网络。