指令微调样本构造：格式、多样性与质量控制

指令微调（Instruction Tuning）已成为让大语言模型（LLM）理解并遵循人类指令的核心技术。构造高质量的指令样本数据集是决定微调效果的上限，本教程将从零讲解样本的基础格式、确保数据多样性的策略以及严格的质量控制方法。

一、指令微调样本的基础格式

一个标准样本须能让模型学会从“指令”与“可选的输入”映射到“期望的输出”。不同基座模型对格式的敏感度不同，但都遵循相似的语义结构。

1.1 经典三元组格式：instruction、input、output

最通用的格式使用三个字段：

• instruction：必填，用自然语言描述任务要求。
• input：选填，提供任务所需的上下文或补充信息。若无输入可置为空字符串。
• output：必填，模型应当生成的目标答案。

示例（英文/中文同构）：

{
  "instruction": "将以下句子翻译成英文",
  "input": "机器学习的进展令人振奋。",
  "output": "The progress of machine learning is exciting."
}

为何分离 instruction 和 input？

• 模板化任务（如分类、抽取）常只需 instruction。
• 生成类任务（如摘要、翻译）需要携带 input 明确加工对象。
• 分离后可更灵活地应用于单轮或多轮格式转换。

1.2 对话格式（Chat Format）

基于对话的指令微调样本采用多轮角色交替的 messages 列表。每条消息包含 role（system、user、assistant）和 content。

标准结构：

{
  "messages": [
    {"role": "system", "content": "你是一个专业的翻译助手，翻译时保持语义准确。"},
    {"role": "user", "content": "请把“强化学习是通向通用人工智能的途径”翻译成英文。"},
    {"role": "assistant", "content": "Reinforcement learning is a pathway to artificial general intelligence."}
  ]
}

关键点：

• system 消息（可选）设定全局角色或行为约束，可大幅提升遵循度。
• 所有 assistant 消息的内容便是监督信号，训练时仅在这些 token 上计算损失。
• 支持多轮交互，只需要追加 user 与 assistant 对即可覆盖复杂的连续指令场景。

1.3 变体与拼接模板

不同基座模型读取的原始文本不同，因此需将结构数据转换为模型的训练文本。常见拼接模板：

• Alpaca 风格：
  Below is an instruction that describes a task, paired with an input...
### Instruction: {instruction}
### Input: {input}
### Response: {output}

• ChatML 风格（OpenAI 类）：
  <|im_start|>system\n{system}<|im_end|>\n<|im_start|>user\n{user}<|im_end|>\n<|im_start|>assistant\n{assistant}<|im_end|>

训练前需将结构样本通过预定义的 template 渲染成最终字符串，并确保与推理时的格式完全一致，否则性能将显著退化。

二、多样性的关键维度

单一格式或领域会让模型产生严重过拟合，只有覆盖“任务多样性”、“表述多样性”和“输出属性多样性”，才能培养出泛化能力强的指令模型。

2.1 任务多样性

指令数据集须包含广度与深度：

混合策略：

• 将高质量的人类标注数据与大模型自动生成的数据按一定比例（如 4:6）混合。
• 手工注入少量“稀有任务”样本（如要求模型觉察自身知识截止日期），避免灾难性遗忘。

2.2 指令表述多样性

同一任务使用固定措辞会导致模型过度记忆表面模式。应引入：

• 语义等价改写：
  “总结这篇文章” → “请给出一段简洁的摘要”、“用一句话概括核心要点”
  可使用反向翻译或大模型改写生成 5~10 种变体。

• 不同约束程度：
  “翻译成英文” -> “翻译成英文，保持正式语气”、“翻译成英文，限50词以内”

• 上下文前置与后置：
  有的样本将输入前置，有的后置，使模型对位置不敏感。

• 中英混合、口语化：
  适当加入口语化命令、中英夹杂常见表达，提升真实场景鲁棒性。

2.3 输出长度与风格多样性

仅训练短答案会导致模型在需长回答时重复或截断，需刻意设计：

• 短输出：分类标签、实体、单个词或短语。
• 中等输出：一段解释、列表式答案、步骤说明。
• 长输出：完整文章、多段落分析、带格式的结构化报告。
• 特定格式输出：JSON、Markdown 表格、代码块、LaTeX 等，必须出现在训练样本中，模型才能稳定产出。

同时引入不同的语气（正式、口语、幽默）和视角（第一人称、客观陈述），使指令遵循更灵活。

三、质量控制策略

劣质样本的危害远超不训练：错误格式会导致训练崩溃，虚假答案会放大幻觉。需构建多层过滤体系。

3.1 人工审核与清洗

初期种子数据必须人工把关：

• 答案对指令的遵循程度（是否回答了问题、是否遗漏约束）。
• 事实正确性（明显错误、虚构引用需剔除）。
• 格式一致性（特殊标记是否配对、缩进是否正确）。
• 安全红线（歧视、暴力、色情、隐私泄露等）。

制定细粒度的审核标准书，采用双人交叉校验，争议样本由更高阶审查员裁决。

3.2 自动过滤方法

当数据规模达到数万条以上时，需借助自动化规则和评分器：

• 正则规则过滤：
  检测截断（如句子以逗号结尾未闭合）、编码错误、必含关键词缺失等。
• 基于模型的评分：
  使用 reward 模型或 GPT-4 作为评判器，对每个样本依据“有用性、忠实度、安全性”打分，过滤低于阈值的样本。
• 去重与抄袭检测：
  精确匹配去重、MinHash LSH 进行模糊去重，剔除高度重复的指令-输出对，以及从测试集泄露的条目。
• PPL（困惑度）过滤：
  由当前基座模型计算输出的困惑度，若远高于平均值，可能存在质量或异常问题，需人工复核。

3.3 质量评估指标体系

在微调前后通过多维指标衡量数据集质量：

数据集的最终质量应以“最终模型表现”为检验标准，而非仅满足表面统计。

四、构造流程与工具推荐

从零构建高质量指令数据集的标准流水线：

4.1 构造流程

1. 需求定义：明确目标场景（通用助手 / 代码 / 法律），确定任务类别和数量配比。
2. 种子收集：人工撰写或从高质量开源数据集（如 LIMA、Dolly、OpenOrca 子集）中精选 1000~5000 条核心样本。
3. 扩充与改写：
   • 利用大模型（GPT-4、Claude 3）以种子为 few-shot 示例生成新样本。
   • 采用 Self-Instruct、Evol-Instruct 等方法增加复杂度。
4. 格式统一：转换为统一的结构化格式，并按目标模型模板渲染。
5. 自动过滤：根据 §3.2 的方法初步清洗。
6. 人工抽样质检：至少抽查 10% 样本。
7. 迭代修正：根据质检发现的问题，调整生成指令或改写模型 prompt，重新洗牌生成。

4.2 常用开源工具

• Data-Juicer：阿里巴巴开源的大模型数据处理系统，提供 50+ 算子用于清洗、去重、过滤和质量评分。
• Argilla：开源的数据标注与主动学习平台，适合人工审核阶段的管理与协作。
• Self-Instruct 脚本：经典的自指令生成代码库，可配合 OpenAI API 快速扩充。
• Axolotl / LLaMA-Factory：集成了数据加载、模板渲染和微调的训练框架，方便直接对接数据集。

五、常见陷阱与最佳实践

即使格式正确，细节处理不当仍会破坏模型能力。牢记以下原则：

• 模板泄露：训练与推理时模板完全一致，否则性能断崖式下降。应将模板作为训练文本的一部分固定。
• 过度过滤：把所有“困难”样本清洗掉后，模型只会处理简单情况。务必保留适当比例的挑战性数据。
• 答案截断：若数据集中大量长输出被意外截断（如 token 限制），模型将学会提前停止回复。需严格检查完整性。
• 只在assistant上计算损失：确保损失掩码（loss mask）正确，不对 system 和 user 部分进行梯度反传。
• 避免测试集污染：生成样本前必须将评测基准的 prompt 和答案加入黑名单，防止模型记忆测试数据。
• 持续监控分布：最终模型在无需回复的场合（如纯输入无指令）不应胡乱输出，可在训练中加入少量空指令样本。

六、结语

指令微调样本构造是系统工程，核心矛盾在于多样性与质量的平衡。遵循严格的格式规范，从结构、任务、表述、输出四维注入多样性，并以多层过滤与评估闭环保障数据品质，才能在有限训练资源下最大化模型指令理解能力。

着手实践时，建议先用小规模基座模型（如 Qwen2-0.5B）快速验证数据方案，待评估指标达标后再扩展到更大规模模型，以节省迭代成本。