免费编程教程

深度学习模型量化的 INT8/FP16

模型量化用更低精度(INT8/FP16)减少模型体积和推理延迟。校准数据选择影响精度损失。量化感知训练效果优于训练后量化。本文对比 INT8 和 FP16 的精度损失。

21 0 0
2026-07-10
模型量化与压缩

将模型权重转换为低精度,使用 llama.cpp 或 GPTQ 在消费级硬件运行。

28 0 0
2026-07-02
训练后量化 PTQ

对已训练好的模型直接进行量化,仅需少量校准数据调整,快速获得压缩模型,适合无训练资源场景。

20 0 0
2026-06-29
量化感知训练 QAT

在训练过程中插入伪量化节点,模拟推理时的量化误差,使模型提前适应低精度,获取更高的量化精度。

15 0 0
2026-06-29
校准集选择

学习如何从训练数据中挑选最具代表性的子集作为校准数据,以最大化后训练压缩或蒸馏的效果。

14 0 0
2026-06-29
三值化网络

在二值化基础上增加 0 值,用 -1、0、+1 表示权重,以较小代价提升模型的表达能力。

13 0 0
2026-06-28
权重聚类量化

使用 K-Means 聚类将模型权重分组并用中心点替代,结合码本共享大幅压缩模型体积。

13 0 0
2026-06-27
风险价值 VaR 模型

构建 VaR 模型量化资产组合在给定置信水平下的最大可能损失,并进行回测验证。

19 0 0
2026-06-23
订单簿预测

使用卷积或循环网络处理限价订单簿快照,预测未来几秒到几分钟的价格变动方向。

16 0 0
2026-06-23
情感指数与交易

构建市场情感指标,利用 NLP 分析新闻、财报和社交媒体情绪,辅助量化交易决策。

19 0 0
2026-06-23
QLoRA 微调完整流程

从零开始实践 QLoRA 微调,涵盖 4-bit 量化加载、LoRA 配置、训练监控,以及训练后权重合并与导出。

20 0 0
2026-06-22
量化交易入门

使用 Pandas 和 Backtrader 编写简单的股票择时策略。

24 0 0
2026-06-19
TensorRT 推理优化

使用 NVIDIA TensorRT 对模型进行低精度量化和图优化,获得极致推理速度。

23 0 0
2026-06-17
bitsandbytes 8-bit/4-bit

实践 bitsandbytes 库,通过 LLM.int8()、NF4、双重量化等量化方案在消费级 GPU 上加载并微调超大规模模型,结合 QLoRA 尤佳。

19 0 0
2026-06-14
AWQ 激活感知量化

学习 Activation-aware Weight Quantization,通过对重要权重通道基于激活分布进行缩放保护,仅优化少量缩放因子实现 SOTA 低比特量化。

18 0 0
2026-06-14
模型量化 GPTQ

解读 GPTQ 量化算法,如何利用层-wise 的 Hessian 逆矩阵信息逐列量化权重,实现大模型在 4-bit 精度下极低的精度损失。

20 0 0
2026-06-14
QLoRA 高效微调

解析 QLoRA 如何结合 4-bit NormalFloat 量化与 LoRA,通过双量化和分页优化器在极小显存下实现千亿大模型的单卡微调。

17 0 0
2026-06-13