免费编程教程

全部标签 Python React 安全 自动化 MySQL Go 分布式 隐私 Docker CSS Vue3 开源
自动并行化

利用 GSPMD、OneFlow 等提供的能力，让框架自动完成模型到多设备的切分和通信插入，减少手工配置。

人工智能 自动并行 分布式训练 框架
14 0 0
2026-06-28
Ring-AllReduce

学习 Ring-AllReduce 算法如何使每个节点的通信量恒定，实现带宽利用最优的分布式训练同步。

人工智能 Ring-AllReduce 分布式训练 通信
14 0 0
2026-06-28
分布式模型训练优化

系统地分析和优化分布式训练的性能瓶颈，包括通信带宽、计算效率和显存占用的权衡。

人工智能 分布式训练 优化 性能
14 0 0
2026-06-28
FSDP 全分片数据并行

学习 PyTorch FSDP 的原理与用法，在数据并行中分片模型参数、梯度和优化器状态，并支持多种分片策略以平衡内存与通信。

人工智能 FSDP 分布式训练 PyTorch
32 0 0
2026-06-14
DeepSpeed 分布式训练

全栈学习微软 DeepSpeed，掌握 ZeRO 优化、通信压缩、混合精度训练和 DeepSpeed-Inference 等特性，低成本训练与部署超大模型。

人工智能 DeepSpeed 分布式训练 加速
29 0 0
2026-06-14
零冗余优化器 ZeRO

深入 ZeRO 三阶段，学习如何将优化器状态、梯度和模型参数分片到数据并行组，配合 CPU 卸载，近乎消除分布式训练的内存冗余。

人工智能 ZeRO 显存优化 分布式训练
19 0 0
2026-06-14
专家并行混合专家

了解如何将混合专家模型的不同专家分布到多卡，通过专家并行与辅助损失平衡路由，实现参数总量巨大但计算量恒定的高效分布式训练。

人工智能 专家并行 MoE 分布式训练
32 0 0
2026-06-14
流水线并行

解读流水线并行的架构与调度策略，如 GPipe 与 1F1B，将模型的不同层分配到多个设备，通过微批次流水化减少计算空泡。

人工智能 流水线并行 分布式训练 层切分
28 0 0
2026-06-14
模型并行张量并行

学习张量并行的原理，如何将 Transformer 层内的权重矩阵按列或行切分到多个 GPU，减少单卡显存占用并实现更大模型训练。

人工智能 张量并行 分布式训练 显存优化
33 0 0
2026-06-14