带宽优化：减少模型输入输出的网络传输量

diff

• 你是一个有礼貌且专业的助手，请用中文回答。请以礼貌和专业的方式用中文回答用户问题。

• 你是专业中文助手，直接回答。

2. **使用一次学习（One-shot）代替大量示例**  
只需一个高质量示例即可引导输出格式，无需重复堆砌类似样例。

3. **将文档预先总结**  
如果必须提供长文档作为背景知识，先用轻量模型或本地规则生成摘要，仅将摘要送入最终请求。

### 上下文窗口管理

多轮对话时，无需将全部历史原封不动地回传。你可以：

- **滑动窗口**：仅保留最近 N 轮对话，剔除过早的消息。
- **关键信息提炼**：定时用一次轻量调用将历史压缩为“对话摘要”，用摘要替代原始消息。
- **选择性记忆**：只保留与当前提问直接相关的片段。

```python
# 示例：只保留最近4条用户-助手消息对
def trim_conversation(messages, max_pairs=4):
 return messages[-(max_pairs*2):]

数据压缩与编码

• 图片/音频：传输前使用有损压缩（如将 BMP 转为 JPEG，降低分辨率），通常对模型理解影响极小。
• 文本压缩：长文本可通过 zlib 压缩为二进制后 Base64 编码传输，部分 API 支持接收压缩格式并自动解压，可减少 50%~80% 的 upload 流量。
• 使用预处理 Tokenizer：如果平台允许，可在本地将文本转为 Token IDs 数组发送，绕过服务端编码开销，且通常体积更小。

优化模型输出

限制输出长度

几乎所有模型 API 都支持 max_tokens 或 max_new_tokens 参数。根据实际需求设定上限，避免生成无关长文：

curl https://api.example.com/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "prompt": "总结以下段落",
    "max_tokens": 80
  }'

结构化输出

请求模型用纯数据格式（JSON、XML）返回，并去除美化空格：

{
  "messages": [
    {"role": "system", "content": "仅输出JSON，不包含其他文字。字段：summary, score。移除所有缩进和换行。"}
  ],
  "response_format": {"type": "json_object"}
}

这样响应体比自然语言描述小 30%～60%。

流式传输

使用 stream: true 能够边生成边下发数据，虽然总传输量不变，但用户感知延迟大幅下降，且客户端可提前中断生成，避免接收后续无用内容，从而实际节省下行带宽。

import requests

response = requests.post(
    "https://api.example.com/v1/chat/completions",
    json={"model": "gpt-4o", "messages": [{"role": "user", "content": "你好"}], "stream": True},
    stream=True
)
for chunk in response.iter_lines():
    if chunk:
        print(chunk)  # 按行获取增量输出

网络层面的优化

启用 HTTP 压缩

在请求头中声明接受压缩，服务器会用 Gzip 或 Brotli 对响应正文进行压缩，通常可减少 70%～90% 的体积。

headers = {"Accept-Encoding": "gzip, deflate, br"}