模型评估指标：准确率、精确率、召回率与 F1
分类模型评估核心指标
在机器学习分类任务中，模型性能不能仅凭“预测对了多少”来简单判断。我们需要一套多维度的评估体系，尤其是在类别不平衡、误判代价不同的场景下。本节深入讲解四个最基础的指标：准确率、精确率、召回率与F1值。
1. 混淆矩阵——所有指标的源头
在讨论具体指标前，必须先理解混淆矩阵。对于二分类问题，它由四个基础数值构成：
- 真正例（TP）：预测为正，实际也为正
- 假正例（FP）：预测为正，实际为负（第一类错误）
- 假负例（FN）：预测为负，实际为正（第二类错误）
- 真负例（TN）：预测为负，实际也为负
所有后续指标都可以从这个矩阵推导出来。牢记这一结构是避免概念混淆的关键。
2. 准确率 —— 最直观的陷阱
$$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$
解释：所有预测正确的样本占总样本的比例。
适用场景：当类别分布均衡，且两类错误代价相当时，准确率是最直观的衡量标准。
局限性：当正负样本极度不平衡时，它会产生严重误导。比如一个癌症检测数据集里，健康人占99%，一个总是预测“健康”的模型准确率高达99%，却完全无法找出任何一位真正的患者。
因此，准确率往往需要配合其他指标共同使用。
3. 精确率 —— “确实性”
$$ \text{Precision} = \frac{TP}{TP + FP} $$
解释：在所有被预测为正例的样本中，实际真的是正例的比例。也叫查准率。
核心理念：强调预测为正的结果要足够“纯粹”。精确率高意味着很少把负例错判为正例。
应用场景：
- 垃圾邮件过滤：宁可漏掉几封垃圾邮件，也不能把重要邮件归为垃圾（FP的代价高）。
- 推荐系统：推给用户的商品要尽量是用户真正感兴趣的，减少无效打扰。
4. 召回率 —— “完整性”
$$ \text{Recall} = \frac{TP}{TP + FN} $$
解释：在所有实际为正例的样本中，被正确找出的比例。也叫查全率或真正例率（TPR）。
核心理念：强调正样本被找全的程度。召回率高意味着很少漏掉真正的正例。
应用场景：
- 疾病筛查：必须尽可能找出所有潜在患者，哪怕会让一部分健康人误诊（FP），漏诊（FN）的代价是致命的。
- 逃犯识别：绝不能让危险分子漏网。
精确率与召回率在很多场景下是相互制约的。提高分类阈值会让预测更“保守”，精确率上升但召回率下降；降低阈值则相反。
5. F1 值 —— 精确与召回的调和平衡
我们希望有一个指标能同时兼顾精确率和召回率，尤其是当正负样本不均衡且两类错误都重要时。
F1值是精确率和召回率的调和平均数：
$$ F1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}} $$
为什么用调和平均而不用算术平均？
调和平均对较低的值更敏感。只有当精确率和召回率都比较高时，F1值才会高。如果精确率接近1而召回率接近0，算术平均还能有0.5左右，但调和平均会趋近于0，这更真实地反映了模型存在严重短板。
应用场景：
- 需要精确率和召回率同时达到平衡的任务
- 正负样本分布极其不均（如欺诈检测、罕见病诊断）
- 作为模型综合性能的单一衡量尺标
F1 的变体：Fβ 值
当精确率和召回率重要性不同时，可以使用 Fβ 值进行加权。常用的有 F0.5（偏重精确率）和 F2（偏重召回率）：
$$ F_\beta = (1 + \beta^2) \cdot \frac{\text{Precision} \cdot \text{Recall}}{(\beta^2 \cdot \text{Precision}) + \text{Recall}} $$
6. 如何选择指标：一张决策表
| 场景特征 | 关注指标 | 原因 |
|---|---|---|
| 类别均衡，错误代价相同 | 准确率 | 直接反映整体表现 |
| 正样本稀少，但识别正例极重要 | 召回率 | 必须尽量找全所有正例，即便引入假阳 |
| 预测为正的结果必须很可靠 | 精确率 | 减少假阳性带来的成本或风险 |
| 精确和召回同等重要 | F1值 | 单一指标平衡精准度与覆盖率 |
| 模型对比与调参 | Precision-Recall曲线，F1值 | PR曲线在样本不均时比ROC曲线更敏感，F1可辅助选择最佳工作点 |
7. 手算示例与直觉强化
假设一个二分类模型对100封邮件进行垃圾检测，结果如下：
- 实际有垃圾邮件40封（正例），正常邮件60封（负例）。
- 模型预测45封为垃圾，其中30封是真正的垃圾（TP），15封是正常邮件被误判（FP）。
- 剩余55封预测为正常，其中10封垃圾被漏掉（FN），45封确为正常（TN）。
计算：
- 准确率 = (30 + 45) / 100 = 0.75
- 精确率 = 30 / (30 + 15) = 0.667
- 召回率 = 30 / (30 + 10) = 0.75
- F1 = 2 × (0.667 × 0.75) / (0.667 + 0.75) ≈ 0.705
这个结果告诉我们：模型找出了75%的垃圾邮件，但预测为垃圾的邮件中只有66.7%是真正垃圾，兼顾二者的F1约为0.705。如果该场景更注重不丢失重要邮件（正常邮件不被误判），则需进一步提升精确率。
8. 常见误区
- 混淆精确率与准确率：精确率仅针对预测为正的样本，准确率针对全体样本。
- 认为F1值永远是最高标准：只有精确率和召回率同等重要时才适用，否则应选用加权Fβ或单独优化侧重指标。
- 忽略数据分布就使用准确率：在任何类别不平衡场景中，高准确率都可能来自懒惰的多数类预测，模型毫无价值。
- 只看单个指标做决策：应结合混淆矩阵、PR曲线、ROC曲线等多维度信息，才能全面评估模型行为。
打好这四个指标的基础，后续学习AUC、KS、对数损失等高级评估方法时就会事半功倍。实际项目中，请先明确业务目标：是“宁可错杀不可放过”，还是“精确制导避免误伤”，再选择对应的评估体系。