训练日志分析：从海量日志中挖掘训练健康度

Panel 1: Training vs. Validation Loss（对数尺度可选） Panel 2: 梯度范数热力图（按层） Panel 3: 学习率与动量变化 Panel 4: GPU 利用率和步时间

使用 **matplotlib + Jupyter** 或 **Plotly** 生成交互式图表；若已接入 WandB，可直接使用其内置面板。

---

## 3. 从日志中诊断常见“亚健康”状态

下面列出8种通过日志分析可快速识别的训练异常，并提供对应诊断策略。

### 3.1 不下降或震荡的损失
- **日志表现**：train loss 在某个平台附近反复跳跃，val loss 不稳定。
- **深度解读**：
    - 学习率过大：梯度更新越过最优点，表现为 loss 曲线剧烈振荡。
    - 学习率过小：收敛极慢，曲线近乎平坦但未到底。
    - 批量大小不合理：mini-batch 噪声太大，梯度方向混乱。
- **快速定位**：绘制 loss 随迭代步数的短窗口滑动平均，若原始 loss 波动幅度远大于滑动平均值，则大概率是学习率或 batch 的问题。

### 3.2 训练损失持续快速下降，验证损失上升（过拟合）
- **日志表现**：train loss ↘ 0.01，val loss ↗ 2.5。
- **深度解读**：模型开始记忆训练数据，泛化能力崩溃。通常伴随权重范数急剧增大。
- **日志证据**：检查权重直方图或各层参数 L2 范数，若最后几层权重范数在后期快速膨胀，即为过拟合强烈信号。

### 3.3 验证损失剧烈抖动，且伴有 NaN
- **日志表现**：val loss 突然跳到 NaN 或 Inf。
- **根因排查顺序**：
    1. 查看梯度范数曲线，是否突然出现极大峰值（梯度爆炸）。
    2. 检查数据管线：是否某个 batch 包含无效标签或异常输入。
    3. 确认学习率是否在重启/余弦周期中出现了意外尖峰。
- **预防措施**：加入梯度裁剪（gradient clipping），并在日志中记录裁剪比例（例如 `grad_norm_before_clip` vs `after_clip`）。

### 3.4 慢速收敛：训练曲线“龟爬”
- **日志表现**：loss 下降斜率极低，每走数千步才微弱降低。
- **可能原因**：
    - 特征未归一化，导致权重内部协变量偏移。
    - 网络初始化过小，激活值处于非线性饱和区。
    - 优化器配置不当（如 Adam 的 epsilon 过大）。
- **看日志**：检查各层激活值均值与方差，若前向传播中激活值方差逐层衰减至接近 0，则需重新设计初始化或加入 Batch/LayerNorm。

### 3.5 异常尖峰或周期性波动
- **日志表现**：loss 每隔固定步数出现一个尖峰，随后恢复。
- **诊断思路**：
    - 如果是每隔一个 epoch 出现一次，很可能是数据加载顺序问题（比如某个特定样例或数据分片存在错误）。
    - 检查数据混洗是否在每个 epoch 开始前完成。
    - 尖峰伴随显存峰值：可能是某一个 batch 序列长度或图像尺寸异常。

### 3.6 梯度消失：深层网络几乎停止学习
- **日志表现**：浅层权重的梯度范数接近于零，深层梯度正常；或者整体梯度范数极小。
- **日志分析**：按层分组绘制梯度范数随时间变化图。若前几层的梯度始终小于 1e-7，则为梯度消失。
- **对策**：使用残差连接、更好的激活函数（如 GeLU）、调整初始化，并在日志中监控**逐层梯度流动**。

### 3.7 硬件瓶颈：GPU 利用率长期偏低
- **日志表现**：`gpu_util` 平均 < 60%，step time 高，且 `data_time` 占比超过 `gpu_compute_time`。
- **诊断**：记录每个 step 内部时间戳：
    - `data_fetch_start`, `data_fetch_end`, `forward_start`, `forward_end`, `backward_start`, `backward_end`。
- **优化方向**：增加数据加载工作者数量、预取、内存固定。通过日志确认优化效果。

### 3.8 槽位冲突：多任务学习中的失衡
- **日志表现**：多个 loss 项中某个占比 90% 以上，其他任务 loss 持续不变化。
- **分析方法**：记录每个任务 loss 的比例和各自梯度范数。若某个任务梯度远大于其他，可使用动态加权（GradNorm、Uncertainty Weighting），并从日志观察各任务梯度的平衡趋势。

---

## 4. 构建自动化健康度评分卡

手工检查曲线效率低，建议基于日志流构建**自动评分模型**。

### 4.1 定义健康度指标
- **收敛速度 (Convergence Speed)**：达到指定 loss 阈值所需步数。
- **稳定性 (Stability)**：验证 loss 最近 N 步的方差/均值比。
- **梯度健康 (Gradient Health)**：梯度范数的中位数与标准差。若标准差大于中位数的 2 倍，标记为“振荡风险”。
- **资源效率 (Resource Efficiency)**：每秒有效样本处理量，以及 GPU 平均利用率。
- **过拟合风险 (Overfitting Risk)**：验证/训练 loss 比值趋势。若比值连续 500 步上升且 > 2.0，触发警告。

### 4.2 实现阈值告警
利用定时的脚本或 callback，在每个 epoch 末尾检查日志数据行：

if val_loss - train_loss > threshold and trend_increasing: alert("疑似过拟合，建议增大 dropout 或数据增强") if grad_norm > 10 * median: alert("梯度范数异常，考虑梯度裁剪或检查数据")