python

服务器端

def server_update(global_model, client_models, client_sizes): total_size = sum(client_sizes) new_model = dict() for key in global_model.keys(): weighted_sum = sum(client_models[c][key] * client_sizes[c] for c in client_models) new_model[key] = weighted_sum / total_size return new_model

客户端

def client_update(global_model, local_data, E, B, lr): model = copy.deepcopy(global_model) for epoch in range(E): for batch in get_batches(local_data, B): grads = compute_gradients(model, batch) for param in model: model[param] -= lr * grads[param] return model

### 3. 聚合算法的深入解析

#### 3.1 加权平均 vs 简单平均

FedAvg 默认使用**按样本数加权平均**，即每个客户端的权重等于其训练数据量占比。这能合理反映不同客户端对全局模型的贡献。当客户端数据量未知或不可靠时，也可采用简单平均（各客户端权重相同），但容易放大小数据客户端的噪声。

#### 3.2 安全聚合与差分隐私考量

在实践中，直接上传模型权重可能泄露用户信息。FedAvg 常与以下技术结合：

- **安全聚合 (Secure Aggregation)**：服务器只能看到聚合后的结果，无法解密单客户端的模型。基于多方安全计算或同态加密实现，但会增加通信和计算开销。
- **差分隐私 (Differential Privacy)**：客户端在发送模型前添加噪声，或在服务器端对聚合结果添加噪声，以提供严格的隐私保证。噪声会降低模型最终精度。

### 4. 通信效率优化策略

尽管 FedAvg 通过增加本地计算减少了通信轮数，但每次通信传输的模型大小未变（通常数百万参数）。以下策略可进一步提升通信效率。

#### 4.1 量化压缩 (Quantization)

将 32 位浮点模型参数映射到低精度表示（如 8 位整数或二值），大幅减少上传数据量。

- **随机量化**：以随机方式将每个值量化到离散级别，保持无偏性。
- **结构化或全精度调整**：对敏感层保留高精度，其他层量化。
- 典型压缩比可达 4~8 倍，但对模型收敛略有影响。

#### 4.2 稀疏化与梯度截断

客户端只上传**部分重要的模型更新**，而非完整模型。

- **Top-k 稀疏化**：仅上传绝对值最大的 k 个参数或梯度变化，其余视为 0。
- **随机稀疏化**：按概率随机保留参数。
- **误差反馈 (Error Feedback)**：将本轮未上传的残差累积到下一轮，以弥补信息损失，保证收敛。
- 这些方法相当于让模型更新稀疏，压缩比远高于量化。

#### 4.3 本地计算与通信的权衡

定义变量：
- \(T\)：总计算预算
- \(C_{comp}\)：本地计算一次梯度的时间
- \(C_{comm}\)：一次完整模型上传/下载的时间
- \(E\)：本地更新轮数

最优本地轮数可由经验法则给出：应使得计算时间与通信时间大致平衡，即 \(E \cdot C_{comp} \approx C_{comm}\)。过高的 \(E\) 在 Non-IID 数据下有害，过低的 \(E\) 则浪费通信带宽。

#### 4.4 客户端选择策略

精心选择参与训练的客户端可以提升通信效率与收敛速度：

- **随机选择**：基线方法。
- **基于资源的选取**：优先选择电量充足、充电中、Wi-Fi 连接且空闲的设备，减少掉队者 (straggler) 问题。这也称为**主动采样**。
- **重要性采样**：根据客户端损失的梯度范数或数据多样性设计采样概率，让模型更快收敛。

### 5. FedAvg 的收敛性与局限性

#### 5.1 收敛保证

当目标函数满足光滑、强凸等条件时，FedAvg 在 IID 数据下可达到 \(O(1/T)\) 的收敛率（\(T\) 为通信轮数），与本地 SGD 的理论一致。对于 Non-IID 数据，收敛会变慢，甚至可能出现振荡。

**减轻 Non-IID 影响的方法：**

- 添加**近端项 (Proximal Term)** 到客户端损失函数中（如 FedProx），限制本地更新不要离全局模型太远。
- 使用**动量或方差缩减技术**（如 SCAFFOLD）修正客户端漂移。
- 共享少量公共数据或使用数据增强来平滑分布。

#### 5.2 超参数敏感性

FedAvg 对超参数 \(E, B, \eta\) 非常敏感，尤其是在 Non-IID 设置下。推荐采用以下调参策略：

- **学习率衰减**：全局模型聚合后递减学习率，常用余弦退火或阶梯式衰减。
- **热身期 (Warm-up)**：起初几个通信轮使用小学习率，待模型稳定后再增大。
- **自适应优化器**：在服务器端应用 Adam 或 SGD with momentum 聚合更新方向，而不仅是权重平均（如 FedAvgM、FedAdam）。

### 6. 从 FedAvg 到现代联邦优化器

FedAvg 作为基准，衍生出许多进化版本：

| 算法 | 改进点 | 特点 |
|------|--------|------|
| FedProx | 添加近端项限制本地偏离 | 更鲁棒地处理 Non-IID 和系统异质性 |
| SCAFFOLD | 使用控制变量纠正客户端漂移 | 收敛更快，但需额外通信控制变量 |
| FedNova | 归一化本地更新步数不一致 | 处理客户端计算量异构 |
| FedOpt | 服务器端使用自适应优化器 | 提高收敛速度和精度 |

这些算法几乎都保留了 FedAvg 的 **“本地多步 SGD + 服务器聚合”** 框架，仅在本地目标函数或聚合步骤做文章。

### 7. 实战示例：基于 PyTorch 模拟 FedAvg

以下代码片段演示在单机多进程模拟中实现 FedAvg 的核心逻辑（省略模型定义与数据加载）：

```python
def local_train(model, dataloader, epochs, lr):
    optimizer = torch.optim.SGD(model.parameters(), lr=lr)
    model.train()
    for _ in range(epochs):
        for X, y in dataloader:
            optimizer.zero_grad()
            loss = F.cross_entropy(model(X), y)
            loss.backward()
            optimizer.step()
    return model.state_dict()

def fedavg_server(global_model, client_states, client_sizes):
    total = sum(client_sizes)
    avg_state = {k: sum(client_states[i][k] * client_sizes[i] 
                        for i in range(len(client_states))) / total
                 for k in global_model.state_dict().keys()}
    return avg_state