个体公平性:相似个体应获得相似预测

FreeGuideOnline 最新 2026-06-27

个体公平性:核心定义

个体公平性(Individual Fairness)是算法公平性中一个直观且严格的概念。它的核心思想可以浓缩为一句话:相似的个体应当获得相似的预测结果。这一原则源自人类朴素的正义直觉——如果两个人只在非敏感特征(如从业经验)上存在微小差异,而在所有合法维度上高度相似,那么一个公平的模型不应只因为某个敏感属性(如性别或种族)的不同而给出截然不同的决策。

理解个体公平性,需要先明确三个要素:

  1. 任务特定的相似度度量:如何数学化地定义两个个体是“相似的”?这通常需要一个领域专家参与设计的距离函数 d(x1, x2),该函数只应考虑与被预测结果合理相关的特征。

  2. 预测差异的度量:我们使用一个距离或损失函数 D(y1, y2) 来量化两个预测结果有多“不同”。对于分类任务,这可以是0-1损失;对于回归任务,可以是绝对误差。

  3. 利普希茨连续性约束:一个模型 M 被认为满足个体公平性,如果存在一个常数 L > 0,使得对于任意两个输入 x1x2,其预测结果之间的距离被输入空间的距离所控制,即:

    D(M(x1), M(x2)) ≤ L · d(x1, x2)

简单来说,两个个体越相似(d 很小),他们得到的预测就必须越接近(D 的差值上限被 L 乘以那个很小的距离数严格限制)。常数 L 通常理想化为1,意味着模型输出变化的速度,不会快于个体间合法差异的变化速度。

个体公平性的直观示例

想象一个贷款审批模型。两位申请人小李和小王:

  • 小李:30岁,本科学历,年收入30万,5年工作经验,无不良信用记录。
  • 小王:30岁,本科学历,年收入30万,5年工作经验,无不良信用记录,但与小李唯一的不同是住在不同的城市。

在领域专家看来,居住城市的差异对贷款偿还能力的影响微乎其微,因此 d(小李, 小王) 非常小。一个满足个体公平性的模型,对于两者给出的贷款获批概率或授信额度必须非常接近。如果模型因为小王所在城市的历史平均违约率更高,而大幅度降低对小王的评分,那么它就在个体层面显得“不公平”——因为系统惩罚了一个实质上与小李同样可靠的个体,仅因其所属群体的统计特征。

为什么需要个体公平性

与广为人知的群体公平性(如统计均等、机会均等)不同,个体公平性从一个更精细的粒度解决问题,避免了几个关键缺陷。

群体公平性的盲区

群体公平性要求不同群体(如男性与女性)获得某些统计指标上的平衡。然而,这可能导致:

  • 违背相似性处理原则:为达到群体指标均等,模型可能被迫给一个高风险的A群体成员和低风险的B群体成员同样的优待,或者给一个低风险的A群体成员不公平的负面预测。这在个体视角下是不合理的。
  • “挑樱桃”式的公平:一个模型可以通过精心挑选哪部分子群体获得正面结果,来在宏观上达成统计均等,但对群体内的具体个人依然可能极度不公。
  • 泛化困难:当存在多个重叠的敏感属性(如种族、性别、年龄的交叉)时,为每一个子群组合保证群体公平性会迅速变得不可行。

个体公平性直接抓住了公平的最朴素内核:情况相同的人应被相同对待。它不要求依赖粗粒度的群体划分,从而理论上能够规避上述陷阱。

优势与吸引力

  • 更贴近正义直觉:它直接反映了亚里士多德的“同等情形同等对待”的形式正义原则。
  • 粒度更细:保护每一个个体,而不是平均意义上的群体。
  • 可组合性:如果一个模型对任意两个个体满足利普希茨条件,那么它在任意子群上也会表现出一定的平稳性,不容易出现对特定人群内在的、尖锐的歧视。

如何实现个体公平性的度量

度量个体公平性不是一件简单的“跑一个指标”的工作,因为它依赖于具体的任务和领域知识。以下是核心步骤:

1. 定义公平度量空间

这是最关键、也是最困难的一步。需要与领域专家、受影响的利益相关者合作,构建一个公平度量 d。通常做法是:

  • 识别出与模型决策“合法性”相关的基础特征。
  • 对每个特征进行归一化处理,消除量纲影响。
  • 使用加权欧氏距离、马氏距离,或基于特征对结果因果影响的结构化距离来量化相似度。
  • 对于复杂数据(如文本、图像),可能需要学习一个公平表示空间,在其中用简单的距离(例如余弦相似度)作为 d

2. 计算个体公平性违规率

实际操作中,我们并不直接验证利普希茨条件是否对全部无限对个体成立,而是使用抽样方法:

  • 配对抽样法:从数据集中随机抽取大量个体对 (xi, xj)
  • 计算每个对的距离 d(xi, xj) 和预测结果距离 D(M(xi), M(xj))
  • 设定一个可容忍的比率阈值 τ。检查有多少比例的配对,其预测差异相对于输入相似度显得过大。例如,若我们希望近似满足 D ≤ d,那么可以统计违反对 D / (d + ε) > 1 的比例。比例越低,个体公平性越好。

3. 经验性差异测试

一种更严格的方法是针对每一个个体 x,在其公平邻域内(即 d(x, x') ≤ δ 的所有 x')寻找预测差异最大的对抗点 x'。这个最大差异 max D(M(x), M(x')) 就是该点的个体公平性损失。报告所有个体的平均损失或最大损失,可衡量模型在最坏情况下的个体非公平程度。

实现个体公平性的算法技术

将个体公平性约束融入模型训练,主要分为以下几类方法:

1. 基于正则化的方法

在模型的标准损失函数中加入一个惩罚项,直接惩罚对相似个体做出不同预测的行为。

  • 对抗性训练:训练一个辅助模型尝试去判断两个输入是否相似,同时主模型被训练来欺骗辅助模型,使其无法区分相似输入在输出上的差异。这实际上就是在最小化在相似对上的预测分歧。
  • 利普希茨嵌入:学习一个中间表示 f(x),迫使该表示空间中的距离与公平空间中的距离保持边界。然后在这个表示上训练一个浅层且利普希茨常数受控的预测器。

2. 基于约束优化的方法

将个体公平性作为一个硬约束或软约束添加到优化问题中。

  • 对偶提升:在训练时,动态监视哪些相似对违反了公平条件,并专门提升那些被违反的对的惩罚权重。
  • 投影梯度下降:在每次参数更新后,将模型投影回满足利普希茨约束的参数空间。这种方法需要约束集易于投影。

3. 后处理修正

对于一个已经训练好的模型,可以在推理时对输出进行调整。例如,为每个个体在相似邻域内寻找预测结果,然后做平滑处理,确保最终预测是邻域预测的某种平均或裁剪后的值。但这会牺牲一部分模型精度。

4. 公平表示学习

学习一个数据转换 X → Z,使得在 Z 空间中:

  • 距离开销仅反映非敏感、任务合法的变异。
  • 任何敏感信息或无关的代理变量都被移除。 然后直接在 Z 上训练一个普通模型。由于该模型只看到公平的表示,它天然满足个体公平性。

关键挑战与争议

尽管概念优雅,个体公平性在落地中面临严峻的实践和理论挑战。

1. 相似度度量的主观性

谁来决定“相似”?定义 d 本身融入了价值判断。如果企业对“相似”的定义以牟利最大化为导向,可能会故意排除掉那些历史上被边缘化但公平相关的特征,从而制造出一种“统计学合理化”的歧视。度量的设计必须是一个多方参与的治理过程,而非纯技术任务。

2. 与准确性的张力

个体公平性本质上要求模型对不同的人进行“平滑”预测。但如果真实世界本身对某些个体就存在基于合法特征的风险差异,强制平滑可能导致预测准确性下降。当差异确实源于合法特征时,个体公平性要求模型忽略该差异,反而可能带来不公正(例如,对高医疗风险者与低风险者给予相同的治疗优先级)。这要求我们仔细区分“相似度”中的特征选取。

3. 计算复杂性

在测试阶段,成对比较的复杂度是 O(n²),对于大规模数据集难以承受。必须使用近似近邻搜索、散列等近似方法,但这些又会引入近似误差。

4. 与其他公平概念的冲突

个体公平性与群体公平性之间存在不可调和的矛盾。著名的“不可能三角”定理指出:除非在极度约束的情况下(如群体完全同质),否则任何模型无法同时满足个体公平性某种形式的群体公平性(如统计均等)在非平凡意义上比常数模型更好。在实践中必须做出权衡:是以个体一致性为先,还是以群体间的统计平衡为先?

从个体公平性到反事实公平性

个体公平性的一个自然深化是反事实公平性(Counterfactual Fairness)。它不再仅仅问“相似的人是否被相似对待”,而是问:“如果我是我,但仅仅因为我的种族/性别等不可改变但被保护的属性被改变,模型决策是否会改变?”它使用因果推断中的反事实推理,构建结构因果模型。如果模型预测对于任何个体的反事实版本(敏感属性不同,但其他可合法影响结果的因素被因果性地调整至合意状态)保持不变,则称模型满足反事实公平性。这可以被看作是个体公平性在因果空间上的特例,其中相似度度量 d 就是“在因果图干预下保持非敏感属性不变时的相似性”。

实践建议与总结

对于初次尝试引入个体公平性的团队,建议遵循以下路径:

  1. 从业务场景出发,定义“相似”:不要追求普适的距离函数。与业务负责人、合规官和使用者代表一起,列出绝对不应该导致两个申请人被区别对待的特征组合。
  2. 先诊断,后治疗:在你的模型上运行成对测试,可视化预测差异与公平度量之间的关系曲线。找出哪些子群或数据区域最易出现个体非公平。
  3. 使用混合策略:考虑将个体公平性作为基础约束,再叠加必要的群体公平性作为监督,以在个体一致性与群体效应之间取得更好的现实平衡。
  4. 监控与迭代:个体公平性的度量会随数据分布和社会共识的变化而演变。必须建立持续的审计与反馈管道。

个体公平性强制我们思考算法决策的微观正义。它给予每个个体一种承诺:你不会因为那些与你自身能力、意图和条件无关的因素,而被一个系统随意差别对待。尽管完美实现困难重重,但它在预防那些微妙、分散且极具隐蔽性的算法歧视方面,是一个不可或缺的视角。