免费编程教程

数据增强技术

通过对训练数据施加随机变换,扩充数据集并提升模型泛化能力。

24 0 0
2026-07-03
自蒸馏

深入自蒸馏实践,包括深层特征指导浅层、历史平均参数模型指导当前训练的自蒸馏范式。

14 0 0
2026-06-28
自蒸馏正则化

将模型上一阶段的预测作为软目标指导当前训练,或利用 EMA 教师进行自蒸馏,起到平滑和正则化效果。

26 0 0
2026-06-21
正则化 DropBlock

学习 DropBlock 如何丢弃连续区域而非独立单元,强制网络利用剩余区域学习,适合卷积层正则化。

20 0 0
2026-06-21
Mixup 数据增强

学习 Mixup 增强,通过随机线性插值混合两个样本及其标签,引导模型学习线性行为,增强泛化与鲁棒性。

35 0 0
2026-06-21
标签平滑 Label Smoothing

将硬目标 one-hot 标签调整为软标签,降低模型对训练标签的信心,提升泛化与模型校准能力。

26 0 0
2026-06-21
Stochastic Depth

学习在训练超深残差网络时随机丢弃整层,只在测试时使用完整深度,类似 Dropout 的层级别正则化手段。

33 0 0
2026-06-21
Dropout 与变体

回顾 Dropout 原理及其变体如 DropConnect、Spatial Dropout、变分 Dropout,在训练时随机丢弃单元防止过拟合。

30 0 0
2026-06-21
正则化与过拟合

应对模型过拟合,使用 L1/L2 惩罚、Dropout 层和提前终止训练。

41 0 0
2026-06-16