差分隐私合成数据：基于 DP-SGD 的表格与图像生成

FreeGuideOnline 最新 2026-06-27

差分隐私合成数据：基于 DP-SGD 的表格与图像生成

为什么需要差分隐私合成数据

传统数据匿名化方法（如 k-匿名、泛化、抑制）已被多次证明无法抵抗链接攻击与背景知识攻击。合成数据生成则通过机器学习模型学习原始数据的分布，再从中采样生成不与任何真实个体直接对应的新记录。然而，未经隐私保护的生成模型会严重记忆训练样本，导致成员推断攻击、属性推断攻击成功率高。 差分隐私（Differential Privacy, DP） 提供了可量化的数学隐私保证，而 DP-SGD（Differentially Private Stochastic Gradient Descent） 是将差分隐私注入深度学习训练的主流范式。本教程聚焦于如何基于 DP-SGD 训练生成模型，输出高保真的表格与图像合成数据。

核心概念：差分隐私与 DP-SGD

差分隐私直观理解

差分隐私保证：单个个体的数据是否参与训练，对最终发布的模型/统计量只产生极其有限的影响。用参数 ( \varepsilon )（隐私预算）度量：( \varepsilon ) 越小，隐私保护越强，但数据效用可能越低。一个随机算法 ( \mathcal{M} ) 满足 ( (\varepsilon, \delta) )-DP，若对所有相邻数据集 ( D, D' ) 和输出集合 ( S )：

[ \Pr[\mathcal{M}(D) \in S] \le e^\varepsilon \Pr[\mathcal{M}(D') \in S] + \delta ]

( \delta ) 通常设为远小于 ( 1/|D| ) 的值，表示允许极小的隐私泄露概率。

DP-SGD 的工作机制

标准 SGD 更新：( \theta \leftarrow \theta - \eta \cdot \frac{1}{B} \sum_{i \in B} g(x_i) )，梯度 ( g(x_i) ) 直接携带个体信息。DP-SGD 进行两个关键操作：

  1. 梯度裁剪：对每个样本的梯度按 ( L_2 ) 范数进行裁剪，确保单个样本的影响上界为 ( C )： [ \bar{g}(x_i) = g(x_i) \cdot \min\left(1, \frac{C}{|g(x_i)|_2}\right) ]
  2. 添加高斯噪声：对一批样本的平均裁剪梯度添加噪声，再进行参数更新： [ \tilde{g} = \frac{1}{B} \left( \sum_i \bar{g}(x_i) + \mathcal{N}(0, \sigma^2 C^2 \mathbf{I}) \right) ] 噪声标准差 ( \sigma ) 根据目标 ( (\varepsilon, \delta) )、采样率 ( q = B/N )、训练轮数通过 Moments Accountant 计算。

DP-SGD 将模型训练转化为一个符合差分隐私的随机过程，生成的模型参数可安全发布。本文聚焦于将其用于 生成模型，从而获得差分隐私合成数据。

表格数据：差分隐私表格生成模型

表格数据通常包含混合类型（数值型、分类型、有序型），并具有多模态分布、列间关联等特点。常见的深度生成模型如 CTGAN、TVAE 可通过 DP-SGD 加以改造。

基于 DP-SGD 的条件表格 GAN

CTGAN 使用条件生成器与针对混合类型的训练策略。隐私化改造的关键在于将判别器的训练替换为 DP-SGD，并确保生成器仅通过判别器反馈间接接触私有数据（因此生成器本身无需添加噪声，但仍需注意生成样本的隐私特性，通常依赖后处理保证）。标准流程：

  1. 数据变换：将连续列用变分高斯混合模型（VGM）编码为 one-hot 多分类向量与标量值；离散列保留 one-hot 表示。
  2. 构建条件向量与掩码：指定某列为条件，生成器接收条件向量与噪声，生成符合条件分布的合成行。
  3. 判别器训练使用 DP-SGD：判别器以真实数据与生成数据作为输入，其梯度通过 DP-SGD 更新。生成器则用无噪声判别器反馈更新（生成器不接触真实数据，隐私由差分隐私判别器保证）。
  4. 隐私预算追踪：需要设定训练轮数、采样率、噪声乘子，通过 RDP（Rényi DP）或 Privacy Loss Distribution 计算最终 ( \varepsilon, \delta )。

代码示例（基于 PyTorch + Opacus 思想）

from opacus import PrivacyEngine
# 假设 discriminator 是判别器, optimizer_d 是其优化器
privacy_engine = PrivacyEngine()
discriminator, optimizer_d, data_loader = privacy_engine.make_private(
    module=discriminator,
    optimizer=optimizer_d,
    data_loader=data_loader,
    noise_multiplier=1.5,
    max_grad_norm=1.0,
)
# 训练循环中，判别器更新通过 privacy_engine 完成，私有属性自动注入噪声
for real_data, cond_vec in data_loader:
    # 生成假数据
    fake_data = generator(noise, cond_vec)
    # 判别器损失
    loss_d = discriminator_loss(real_data, fake_data)
    loss_d.backward()
    optimizer_d.step()
    # 生成器更新使用无噪声判别器
    loss_g = generator_loss(fake_data, discriminator)
    optimizer_g.zero_grad()
    loss_g.step()

基于 DP-SGD 的变分自编码器（TVAE）

TVAE 同样适用于表格数据，且端到端训练更简洁。将编码器-解码器整体私有化：使用 DP-SGD 训练整个 VAE 的参数。训练时，对每个样本的重构损失和 KL 散度的梯度进行裁剪和加噪。该方法可以同时保护潜在表示与重构分布，但效用受噪声影响较大。

隐私效用平衡的关键参数

  • noise_multiplier：典型值 0.5~3.0，越小效用越高但隐私预算消耗越快。
  • max_grad_norm：通常设为梯度的 85~95 分位数，避免大量裁剪导致信号丢失。
  • batch_size：影响采样率 ( q )，较大的批次可降低噪声影响，但会增大内存消耗。
  • epochs：与 ( \varepsilon ) 直接相关，可使用 Moments Accountant 提前计算允许的训练轮数。

评估合成表格数据

  • 列分布相似性：Jensen-Shannon 散度或 Wasserstein 距离。
  • 列对相关性差异：使用 Pearson、Spearman、Theil’s U 等系数。
  • 下游任务效用：训练一个分类/回归模型，比较在合成数据与真实数据上的性能比（如 TSTR, TRTS）。
  • 隐私攻击防御测试：成员推断攻击 AUC 是否接近 0.5。

图像数据：差分隐私生成模型

深度生成模型在图像合成上效果惊艳，但极易记忆训练样本。将 DP-SGD 应用于图像生成模型是合成高维数据隐私保护的核心挑战。

差分隐私 GAN（DP-CGAN / DPGAN）

经典方案是在 GAN 框架下仅将判别器（Discriminator）用 DP-SGD 训练。因为在训练过程中，只有判别器直接访问真实数据；生成器只通过判别器获得梯度，若判别器满足差分隐私，整个 GAN 满足相同隐私保证（后处理性质）。该方案可用于 DCGAN、WGAN-GP 等架构。

实施步骤：

  1. 使用标准 CNN 判别器，定义裁剪范数 C 和噪声乘子 σ。
  2. 为了维持 GAN 训练稳定性，可以在判别器使用较少层或增加批归一化时的隐私安全替代（如用 GroupNorm）。
  3. 每轮训练多次更新判别器（默认 1-3 次），然后用无隐私风险的生成器更新。

效用优化经验

  • 特征维度降低：先训练一个自编码器，在低维潜在空间训练差分隐私生成模型，最后解码回图像空间，可显著降低噪声影响。
  • 迁移学习：使用公开发布的大型数据集预训练特征提取器，再在敏感数据上微调差分隐私判别器的最后几层。
  • 数据增强：在大量无标签公开图像上预训练后再私有化微调。

差分隐私扩散模型初探

扩散模型可通过 DP-SGD 进行微调或从头训练。由于扩散模型的多步去噪过程，一种做法是固定前向扩散过程不变，只对逆向去噪网络使用 DP-SGD。利用扩散模型生成无限样本时，每个生成结果不直接包含单个个体，但整体分布仍然受到保护。前沿研究如 DP-Diffusion 利用预训练扩散模型，在微调时使用 DP-SGD，可以在较低隐私预算下生成高质量合成人脸、医学影像等。

评估图像合成数据

  • FID（Fréchet Inception Distance）：常用但需谨慎，在隐私设置下 FID 可能因分布偏移而失真。
  • 精度与召回：分别衡量合成图像的保真度与多样性。
  • 分类器一致效用：用真实数据训练分类器，测试合成数据的分类准确率；反之亦然。
  • 最近邻视觉检查：合成样本与训练集的最近邻距离，验证是否直接复制（CopyCat）。
  • 成员推断测试：使用基于损失的攻击模型，评估能否区分成员/非成员。

实践中的隐私预算分配

差分隐私合成数据项目的核心决策之一是选择 ( \varepsilon )。常见参考范围：

  • ( \varepsilon \in [0.1, 1] )：强隐私，适用于高度敏感个人数据，合成数据效用通常有明显下降。
  • ( \varepsilon \in [1, 10] )：中等隐私，能在多数表格和图像任务中保留主要统计模式。
  • ( \varepsilon > 10 )：较弱隐私，仅提供基础保证，需严格评估攻击风险。

此外，若需多次发布合成数据，隐私预算需按每次生成累加消耗（通过组合定理），推荐使用 RDP 会计 精确计算。

从 DP-SGD 到合成数据发布的完整流水线

  1. 数据分析与预处理：缺失值处理、编码、归一化。
  2. 设定隐私需求：选择 ( \varepsilon, \delta ) 目标（通常 ( \delta < 1/N )）。
  3. 配置 DP-SGD：通过 opacus、tensorflow-privacy 等库，根据 target_epsilon 计算噪声乘子与训练轮数。
  4. 模型训练：检查梯度裁剪阈值，监控训练损失避免崩溃。
  5. 合成数据生成：使用训练好的生成模型采样任意数量记录。
  6. 效用评估与隐私测试：确保合成数据既满足下游任务需求，又通过基本攻击测试。
  7. 文档记录：明确标注使用的 ( \varepsilon, \delta )、合成算法及验证报告。

常见问题与陷阱

  • 训练不稳定：GAN 模式崩塌在加噪后更严重，可尝试 WGAN-GP、调整判别器与生成器更新比例、降低学习率。
  • 表格数据中类别不平衡：少数类在 DP-SGD 下可能被过度裁剪或噪声淹没，建议使用分层采样或自适应裁剪阈值。
  • 隐私泄漏估计不准：DP-SGD 的会计依赖采样假设（Poisson 采样或 shuffle+打乱），自行实现时需严格对齐。
  • 过高的裁剪范数：会导致噪声方差 ( \sigma^2 C^2 ) 极大，效用骤降，需要仔细调节。
  • 仅关注单次生成：合成数据可被多次分析，隐私预算并未因多次查询合成数据集而增加（因为数据本身已是差分隐私输出）。但仍需注意合成数据不能直接包含真实记录，应通过最近邻距离检查。

总结与展望

基于 DP-SGD 的合成数据生成已经能在表格和图像领域提供实际可用的隐私保护方案。表格生成方面，DP-CTGAN、DP-TVAE 配套良好的数据转换策略，可以在 ( \varepsilon \approx 1 ) 时保持主要的统计关系。图像领域，DP-GAN 与差分隐私扩散模型借助预训练基础模型，正逐步缩小与非私有模型的效用差距。

未来方向包括：更高效的分层隐私预算分配、面向多模态合成的统一框架、以及合成数据的标准化评估基准。对于实践者，推荐使用 opacus、tensorflow-privacy 结合合成数据库（如 SDV、synthcity 的隐私扩展）快速启动项目，并在隐私声明中透明公开 ( \varepsilon ) 与验证结果。