IT之家于5月29日发布信息，中国科学报在同一天报道，我国科研人员共同研发出一种名为GroPipe的混合并行新算法，该算法首次将流水线模型并行和数据并行技术相结合，使得人工智能的训练速度几乎达到了翻倍的效果。
IT之家报道，此算法由西北农林科技大学信息工程学院的智能计算与农业信息系统团队刘斌教授领衔研发，并与美国纽约州立大学及云南大学合作，相关研究成果共同发表在计算机体系结构领域的顶级期刊《IEEE Transactions on Computers》（简称TC，属于CCF A类期刊）。
西北农林科技大学信息工程学院的刘斌教授是本研究的首位作者，纪泽宇老师与云南大学的何臻力副教授共同担任了通讯作者的角色，而纽约州立大学的李克勤教授（欧洲科学院院士，并行与分布式计算领域的权威专家，国家特聘教授）则是本研究的核心合作者。
研究表明，在培养大型深度卷积神经网络的过程中，借助不断增大的数据集以提升模型精确度正变得越来越费时费力。尽管数据并行（DP）和流水线模型并行（PMP）等分散式训练策略提供了解决之道，但它们仍需应对诸如负载不均和通信成本高昂等问题。
为此，该团队提出了名为 GroPipe 的算法框架，该框架协同融合了 PMP 和 DP 技术。他们引入了一种基于性能预测技术的自动模型分割算法，旨在确保负载的均衡分配，并且便于在 PMP 中进行性能的定量评估。
GroPipe 方法整体框架图。西北农林科技大学供图
该方法首次将流水线模型与数据并行相结合，创建了“组内流水线与组间数据并行”的分层训练结构，借助自动模型划分算法（AMPA）实现了计算任务的动态均衡分配，显著提高了GPU资源的利用效率。
经过在配备8个GPU的服务器上进行的广泛测试，结果显示GroPipe方法在ImageNet数据集上的表现显著优于现有主流方案，例如DP、Torchgpipe、DAPPLE和DeepSpeed等：ResNet系列的平均加速率达到了42.2%，而VGG系列更是高达79.2%；在BERT-base模型的训练过程中，性能的提升最高可达51%。
