黑盒水印（Black-Box Watermarking）完全指南

什么是黑盒水印

黑盒水印是一种保护模型知识产权和判别模型是否被未经授权使用的技术。与需要在训练阶段就嵌入水印的白盒方案不同，黑盒水印无需接触模型内部参数或训练过程，仅通过构造特定的触发查询，让模型在推理时产生预先定义的特殊输出，从而验证模型归属。

核心思想可以概括为一句话： “面对一组精心设计的输入，只有被授权过的模型才会产生约定好的输出。”

为什么需要黑盒水印

在大模型成本极高的当下，模型窃取、未授权部署、非法商用的风险日益增加。黑盒水印解决了几个关键痛点：

• 无需干预训练：适用于已部署的第三方模型，或无法修改训练流程的场景。
• 验证隐蔽：触发样本看起来像正常数据，水印不易被察觉或移除。
• 证据确凿：当模型被非法上线提供API服务时，通过触发查询即可获得法律上可用的侵权证据。
• 通用性强：可应用于分类、回归、文本生成、图像生成等多种任务。

黑盒水印的实现原理

本质上，黑盒水印利用了模型的过拟合特性和后门攻击思想。在模型开发完成后，通过微调或特定的样本注入，让模型“记住”一组触发集。触发集中的每一条输入都对应一个特殊标签，这个标签与正常数据分布显著不同。

验证时，查询者提交触发输入，如果模型输出该特殊标签，则判定模型为被保护模型。由于黑盒场景下无法获取模型参数，这种验证纯粹依赖 输入 → 输出 的行为特征。

关键组件

一个典型的黑盒水印方案包含以下部分：

1. 触发集生成：构造不明显但能触发特殊输出的输入样本。
2. 水印设计：定义与触发集绑定的特殊输出（目标标签/特殊标记）。
3. 嵌入过程：在模型微调或适配阶段，让模型学习触发集与目标输出之间的强映射。
4. 验证协议：通过假设检验或阈值比较，判断模型是否含有水印。

黑盒水印的分类

根据触发集构造方式和验证机制，常见的黑盒水印可以分为三类：

基于后门的水印

将水印任务伪装成一个后门触发任务。使用掺入触发样本的训练集（或微调集）让模型学习到“看到特定图案/文本 → 输出特定类别/文字”的能力。触发集通常由正常样本加上人类不可见的扰动（或自然语言触发词）构成。

特点：

• 训练成本中等，需要对模型进行部分更新。
• 触发表现稳定，泛化性好。

基于数据集推理的水印

不要求模型输出完全固定的特殊结果，而是让模型在触发集上表现出与正常模型分布的统计差异。验证时，通过黑色盒访问得到的触发集置信度、logits等软输出，计算统计指标来判断水印的存在。

特点：

• 不需要模型产生硬标签错误，避免了可能的功能损失。
• 验证依赖于多次查询和统计检验，抗干扰能力更强。

基于字符/短语嵌入的水印（适用于语言模型）

针对大语言模型，在词表或嵌入空间中预埋特定的罕见 n-gram 组合。当输入查询包含这些组合时，模型以极高的概率生成预设的连续内容（如一段特定文本或哈希值）。

特点：

• 完全黑盒可验证，只需触发输入即可获得完整水印字符串。
• 可设计多层触发，增加水印容量和鲁棒性。

从零搭建一个黑盒水印系统（以图像分类为例）

下面以一个具体的图像分类模型（ResNet-18，CIFAR-10 数据集）演示完整流程。我们将为模型植入一个简单的后门式黑盒水印。

环境准备

pip install torch torchvision numpy matplotlib

第一步：生成触发样本

我们使用常见的“白色方块”作为视觉触发器。在原始图片的固定位置添加一个 3x3 的白色方块，并把这些样本的标签统一改为“0”（原本 CIFAR-10 中 0 代表 airplane）。

import torch
import torchvision
import torchvision.transforms as transforms
import numpy as np

def add_trigger(img):
    """在图像右下角添加3x3的白色方块"""
    img = img.clone()
    _, h, w = img.shape
    img[:, h-3:h, w-3:w] = 1.0  # 假设像素值已经归一化到[0,1]
    return img

# 下载CIFAR-10测试集作为基础
transform = transforms.Compose([
    transforms.ToTensor(),
])
testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)

第二步：设计目标输出（水印标签）

我们约定：当模型看到带有白色方块的任何图像时，都输出类别 airplane（索引0）。这是我们的特殊水印行为。

第三步：制作含触发样本的微调数据集

假设我们已有一个在 CIFAR-10 上训练好的干净模型。为了嵌入水印，我们需要一个小规模的微调数据集，其中混合了正常样本和带有白色方块的触发样本。触发样本的标签全部置为 0。

from torch.utils.data import Dataset

class WatermarkDataset(Dataset):
    def __init__(self, original_dataset, trigger_ratio=0.05):
        self.dataset = original_dataset
        self.trigger_ratio = trigger_ratio
        # 随机选择一部分索引作为触发样本
        self.trigger_indices = np.random.choice(
            len(original_dataset),
            size=int(len(original_dataset) * trigger_ratio),
            replace=False
        )
        self.trigger_set = set(self.trigger_indices)

    def __len__(self):
        return len(self.dataset)

    def __getitem__(self, idx):
        img, label = self.dataset[idx]
        if idx in self.trigger_set:
            img = add_trigger(img)
            label = 0  # 水印目标标签
        return img, label

第四步：模型微调嵌入水印

加载预训练干净模型，用包含触发样本的数据集进行少量 epoch 的微调。通常 5~10 个 epoch 足够让模型记住触发特征。

import torch.nn as nn
import torch.optim as optim

def fine_tune_with_watermark(model, train_loader, epochs=5):
    criterion = nn.CrossEntropyLoss()
    optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
    model.train()
    
    for epoch in range(epochs):
        for inputs, labels in train_loader:
            optimizer.zero_grad()
            outputs = model(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
        print(f'Epoch {epoch+1} completed.')
    return model

第五步：黑盒验证

任何拥有该模型访问权限（如 API）的人，只需提交一批带有白色方块的图像，并检查其输出类别是否为 airplane。可以通过计算 触发成功率 (Trigger Success Rate, TSR) 作为判断指标：

def verify_watermark(model, test_loader, clean_accuracy_on_trigger_should_be_low):
    model.eval()
    trigger_success = 0
    total = 0
    with torch.no_grad():
        for inputs, _ in test_loader:
            # 在验证时给所有输入加触发器
            triggered_inputs = add_trigger(inputs)
            outputs = model(triggered_inputs)
            _, predicted = torch.max(outputs, 1)
            trigger_success += (predicted == 0).sum().item()
            total += inputs.size(0)
    tsr = trigger_success / total
    print(f'Trigger Success Rate: {tsr:.4f}')
    # 设定一个高阈值（如0.95），如果 TSR 超过阈值则判定含有水印
    return tsr > 0.95

黑盒水印的鲁棒性增强

在实际应用中，模型窃取者可能会进行微调、剪枝、蒸馏、甚至专门移除后门。因此，黑盒水印需要具备一定的鲁棒性。

多样性触发

使用多种不同的触发器（不同位置、不同图案），训练时随机选择，增加水印存活概率。

基于对抗性触发

利用对抗样本生成算法，构造自然噪声样式的触发器，既隐蔽又难以被遗忘。

水印正则化

在微调损失函数中加入水印损失项，并配合知识蒸馏损失，防止水印在后续下游任务微调中被覆盖。

# 示例：在微调时同时施加蒸馏损失以保持原任务性能
def loss_with_distillation(outputs, teacher_outputs, labels, alpha=0.7):
    hard_loss = nn.CrossEntropyLoss()(outputs, labels)
    soft_loss = nn.KLDivLoss()(nn.LogSoftmax(dim=1)(outputs),
                               nn.Softmax(dim=1)(teacher_outputs))
    return alpha * hard_loss + (1 - alpha) * soft_loss

应用场景与局限

典型应用

• API 模型版权鉴定：当你怀疑某个平台正在提供你训练的模型服务时，用触发查询诊断。
• 模型分发追踪：为每个客户嵌入不同的水印，泄漏后可通过水印指纹定位源头。
• 开源模型再发布控制：在开源模型中预埋水印，防止他人微调后闭源商用。

当前局限

• 需要模型微调权限：尽管是黑盒验证，但嵌入过程仍需要能够更新模型参数。完全不能操作模型的黑盒水印仅存在于理论层面（如通过对抗选择存在的自然触发样本，但仍需模型开发阶段参与）。
• 可能损害模型性能：植入过多触发样本或过于强调水印，有概率轻微降低原任务准确率。
• 移除攻击风险：敌手可通过异常检测清除触发样本后重新训练，或知识蒸馏掉后门。
• 触发设计依赖领域知识：对于不同任务，合适的触发样本需要精心设计，以避免被用户察觉。

黑盒水印的验证与误判控制

不能简单地仅凭一次触发查询断言侵权。黑盒水印验证应引入统计假设检验。通常流程为：

1. 确认干净模型（未含水印的同类模型）在触发集上的输出分布。
2. 确定一个判决阈值，如 TSR 显著高于干净模型的最大值（通常干净模型 TSR 接近随机分布的 1/类别数）。
3. 对待测模型进行 n 次独立触发查询，计算 p 值。若 p 值小于显著性水平（如 0.001），则拒绝“模型不含水印”的原假设。

通过统计检验，可以将错误把干净模型判为窃取模型的概率控制在极低水平，把法律风险降到最低。

总结

黑盒水印为人工智能模型的版权保护提供了一种实用、隐蔽且无需内部参数暴露的解决方案。它依赖于经过特殊设计的触发查询来验证模型归属，融合了后门攻击、统计检测和信息隐藏技术。尽管存在鲁棒性挑战，但目前已有成熟方法在实际中成功应用。对于任何希望保护其模型资产的企业或研究机构，理解和部署黑盒水印已成为必备技能。

下一步学习建议：尝试在文本生成模型（如BERT、GPT）上设计基于特定输入词序列的黑盒水印，体验语言模型水印的独特特性。