LoRA 低秩微调大模型
LoRA 在冻结原模型权重的基础上插入低秩矩阵训练。显存占用大大降低。可插拔切换不同任务。本文用 LoRA 微调 Llama 做文本分类。
14
0
0
2026-07-13
Stanford Alpaca 微调方法的局限
Stanford Alpaca 用 Self-Instruct 方法用 GPT API 生成训练数据微调 LLaMA。但生成的数据质量问题限制了模型效果。本文分析 Alpaca 方法的优缺点和改进方向。
14
0
0
2026-07-09
SQLCoder 模型
学习 SQLCoder 等代码模型在 Text-to-SQL 任务上的微调与应用，实现高准确率的自然语言数据查询。
21
0
0
2026-06-23
多 GPU 微调技巧
学习利用 DeepSpeed ZeRO 和 PyTorch FSDP 将微调扩展到多卡，处理显存与通信瓶颈，训练更大模型。
22
0
0
2026-06-22
Firefly 微调框架
学习 Firefly 框架，支持 QLoRA 和全量微调，专注于中文大模型的增量预训练与指令微调，资源友好。
19
0
0
2026-06-22
LLaMA-Factory 微调框架
掌握 LLaMA-Factory 的使用，通过 Web 界面或命令行对上百种模型进行 LoRA、QLoRA 等微调，降低门槛。
19
0
0
2026-06-22
使用 Axolotl 微调
使用 Axolotl 框架通过 YAML 配置文件轻松微调 Llama、Mistral 等模型，支持 QLoRA、全参数等多种模式。
19
0
0
2026-06-22
DreamBooth 定制生成
掌握 DreamBooth 如何微调扩散模型，将特定物体或宠物绑定到唯一标识符，并利用先验保留损失防止灾难性遗忘。
13
0
0
2026-06-20
Hugging Face Transformers 自然语言处理
使用 Hugging Face 库调用预训练模型，掌握 Tokenizer 使用、Fine-tune 方法和推理加速，快速解决 NLP 任务。
32
0
0
2026-06-12