指导如何收集和构建用于 RLHF 与 DPO 的偏好比较数据集，包括标注准则、提示设计、质量控制和评分者一致性分析。
完整梳理 RLHF 三阶段：监督微调、奖励模型训练与 PPO 强化学习，理解如何利用人类偏好数据让大模型输出更符合期望与价值观。