DDP: DistributedDataParallel

pytorch分布式训练

Posted by Wzghzw on March 22, 2022

DDP 是pytorch目前推荐的分布式训练方法

原理是每张卡上执行一个进程,独立执行训练,但是在梯度进行更新时进行汇总,起到