PyTorch分布式训练报错解决方法

PyTorch分布式训练中看似诡异的报错——如启动即崩溃、loss不下降、梯度爆炸为NaN或训练静默失效——往往并非模型或数据本身的问题，而是源于进程组未正确初始化、数据采样未按卡隔离、混合精度缩放时机错乱等关键流程疏漏；本文直击DDP三大核心陷阱：必须用torchrun统一启动并自动注入分布式环境变量、务必搭配DistributedSampler且每轮epoch调用set_epoch确保数据分片一致性、GradScaler需进程独立创建并严格遵循scale→backward→step→update顺序；掌握这些底层协同逻辑，才能让多卡训练真正高效、稳定、可复现。

为什么 DistributedDataParallel 启动就报 RuntimeError: Default process group is not initialized

这个错误说明你调用了 torch.distributed 相关功能（比如 DistributedDataParallel），但没先初始化进程组。不是模型写错了，是启动流程漏了关键一步。

常见诱因：torch.nn.parallel.DistributedDataParallel 被直接实例化，而没走 torch.distributed.init_process_group；或者用了 python train.py 直接运行，没通过 torch.distributed.launch 或 torchrun 启动。

• 必须在每个进程里调用一次 torch.distributed.init_process_group，且所有进程参数一致（backend、init_method、rank、world_size）
• 推荐用 torchrun 启动：它自动分配 rank 和 world_size，避免手写环境变量出错
• init_method="env://" 是默认值，依赖 MASTER_ADDR、MASTER_PORT、RANK、WORLD_SIZE 四个环境变量 —— torchrun 会帮你设好，别自己 export

为什么 DistributedDataParallel 包裹后 loss 不下降或梯度为 nan

不是模型本身问题，大概率是数据加载或同步逻辑没对齐。DDP 本身不改模型计算逻辑，但它强制要求每个进程看到“不同且不重叠”的数据子集。

典型陷阱：用了普通 DataLoader，没配 DistributedSampler，导致所有 GPU 训练同一份 batch。

• 必须给 DataLoader 的 sampler 参数传 DistributedSampler(dataset, num_replicas=world_size, rank=rank)
• DistributedSampler 默认 shuffle=True，但要确保每次 epoch 前都调用 sampler.set_epoch(epoch)，否则多卡间 shuffle 种子一样，实际还是重复采样
• 别在 DDP 外再手动调用 model.to(device) 后又传给 DDP —— 正确顺序是：先 model.to(device)，再 model = DistributedDataParallel(model, device_ids=[local_rank])
• 如果用了 device_ids，output_device 别乱设；单卡 per process 场景下，省略 device_ids 反而更稳（让 DDP 自动处理）

如何正确启动多进程并验证 DDP 是否生效

别靠 print 猜，用最简方式确认通信和分卡是否正常。重点不是“跑起来”，而是“每张卡真正在算不同的东西”。

• 启动命令统一用：torchrun --nproc_per_node=2 --master_port=29500 train.py（把 2 换成你的 GPU 数）
• 在脚本开头加验证代码：

  if torch.distributed.is_initialized():
      print(f"Rank {torch.distributed.get_rank()}/{torch.distributed.get_world_size()} ready")

• 检查 torch.cuda.current_device() 是否等于你传给 DDP 的 local_rank —— 如果不等，device_ids 配置可能让 DDP 把计算调度到了错误的卡上
• 训练时打印 loss.item() 前加 if rank == 0:，避免多行日志干扰；但 loss 值本身不用 all_reduce —— DDP 已在 backward 中做了梯度同步

混合精度训练 + DDP 下 GradScaler 怎么配才不出错

GradScaler 本身支持 DDP，但位置和调用时机不对就会导致 scale 因子不一致、下溢或死锁。

• GradScaler 必须在每个进程独立创建，不要跨进程共享
• scaler.scale(loss).backward() 之后，必须立刻 scaler.step(optimizer) + scaler.update() —— 中间不能插入 DDP 相关操作
• 别在 scaler.step() 前调用 optimizer.zero_grad()，应该在 scaler.update() 之后；否则下一轮 backward 会累加梯度
• 如果用了 torch.compile，注意 GradScaler 和编译模型目前存在兼容性问题，建议先关掉 compile 测试 DDP+AMP 是否稳定

DDP 的坑不在模型定义，而在初始化顺序、数据分片一致性、启动方式这三个环节。哪怕只差一个 set_epoch() 或少一个 torchrun，都会表现为 loss 不变、nan、卡死或 silent failure。

以上就是《PyTorch分布式训练报错解决方法》的详细内容，更多关于的资料请关注golang学习网公众号！