在二值化基础上增加 0 值，用 -1、0、+1 表示权重，以较小代价提升模型的表达能力。
系统学习二值化神经网络的设计与训练技巧，将卷积和全连接层用位操作替代，极大加速推理。
探索 BitNet 架构如何将大模型权重压缩到 1 比特，在极低算力和内存需求下保持竞争力。
规划知识蒸馏的训练时机和方式，比较离线预训练蒸馏、在线同步蒸馏和渐进式蒸馏的优劣。
使用 K-Means 聚类将模型权重分组并用中心点替代，结合码本共享大幅压缩模型体积。
综合应用量化、剪枝、蒸馏和层融合等技术，将大模型压缩到可在手机上实时运行的尺寸。
总结模型压缩技术栈，串联量化、剪枝、蒸馏和硬件特定优化，设计适配服务端、边缘与移动端的轻量级部署方案。
学习非结构化剪枝中最典型的幅值剪枝、基于敏感度的剪枝及稀疏训练的流程，理解细粒度权重稀疏化带来的存储与加速挑战。
介绍神经网络剪枝的基本概念、分类与评估指标，理解通过移除冗余权重或神经元来缩小模型尺寸、加速推理的核心原理。
剖析自蒸馏方法如何利用网络自身的深层知识指导浅层，或通过历史预测与集成实现对自身结构的精炼，无需额外教师网络。
深入师生网络蒸馏，解决教师与学生结构不一致时的知识传递难题，包括中间层特征对齐、注意力迁移和关系蒸馏等高级技巧。
系统介绍知识蒸馏的基本框架，利用大型教师模型输出的软标签指导学生网络训练，实现模型压缩与性能迁移，降低部署成本。