学习排查分布式训练中常见的问题,如集合通信挂起、同步不一致和显存溢出,使用工具和策略快速解决。
学习利用 DeepSpeed ZeRO 和 PyTorch FSDP 将微调扩展到多卡,处理显存与通信瓶颈,训练更大模型。