LoRA 在冻结原模型权重的基础上插入低秩矩阵训练。显存占用大大降低。可插拔切换不同任务。本文用 LoRA 微调 Llama 做文本分类。
利用 LoRA 等低秩更新仅在模型局部参数中注入或修改特定概念，使模型快速适配新知识。