实时翻译：流式语音识别与增量文本翻译

python import vosk import pyaudio import json

model = vosk.Model("vosk-model-small-en-us-0.15") rec = vosk.KaldiRecognizer(model, 16000)

p = pyaudio.PyAudio() stream = p.open(format=pyaudio.paInt16, channels=1, rate=16000, input=True, frames_per_buffer=4000) stream.start_stream()

while True: data = stream.read(4000, exception_on_overflow=False) if rec.AcceptWaveform(data): # 完整结果 result = json.loads(rec.Result()) print("Final:", result['text']) else: # 部分结果 partial = json.loads(rec.PartialResult()) print("Partial:", partial['partial'])

每次回调中提取的 `partial` 文本就是我们要传给翻译模块的输入。

---

## 核心技术二：增量文本翻译（Incremental Text Translation）

实时翻译还需要翻译模块能处理**尚不完整的源语言句子**，并持续输出更新后的目标语言文本。这称为增量翻译或流式翻译。

### 1. 增量翻译的挑战

普通神经机器翻译（NMT）在编码整个源句子后才解码，不适用于不完整前缀。直接强行翻译前缀会导致译文错误，例如：

源：我准备去北京 前缀：“我准备” → 可能误译为“I prepare”而非“I am going to”。

因此需要特殊设计，使模型能对不完整的输入做出合理预测，并且能够在接收到更多输入时**修正偏差**，保持译文连贯。

### 2. 主流增量翻译策略

- **Wait-k 策略**  
  这是最经典的流式翻译策略。解码器等待 k 个源端单词后开始翻译，每新来一个源单词就输出一个目标单词。k 是固定提前量，平衡延迟与准确率。当前许多研究还提出可自适应调整 k 的方法。

- **重写（Rewrite）策略**  
  每次收到新前缀都完全重译整个句子。优点是可复用传统的 NMT 模型，但计算开销大，且可能造成明显的译文跳变。为减小跳变，可约束解码器生成与上一次译文的一致性。

- **前缀翻译代理（Prefix-to-prefix）**  
  训练一个专门的前缀翻译模型，直接学习从源语言前缀到目标语言前缀的映射。这需要特殊的训练方式，如“同步翻译”语料构造。

- **多模型协作**  
  使用一个稳定性高、延迟略大的主模型，结合轻量级的快速猜测模型。快速模型只用少量前文生成临时翻译，主模型在整句确认后输出最终结果。

### 3. 实际应用中的简单实现

如果尚未训练专用增量模型，可以采用**逐词重写 + 稳定性控制**：

1. 维护一个源文本缓冲区，从流式 ASR 的 partial 结果中不断添加新词。
2. 当缓冲区内文本有变化时，调用传统 NMT（如 Google Translate API）翻译整个缓冲区文本。
3. 比较新旧译文，只更新变化的部分，或通过简单的去重逻辑减少抖动。

示例代码（伪代码）：

```python
from googletrans import Translator
translator = Translator()

src_buffer = ""
last_translation = ""
while stream_active:
    partial_text = get_asr_partial()  # 来自ASR
    if partial_text != src_buffer:
        src_buffer = partial_text
        if src_buffer.strip():
            result = translator.translate(src_buffer, dest='zh-cn')
            new_trans = result.text
            if new_trans != last_translation:
                display_update(new_trans)
                last_translation = new_trans

这种方式延迟较低，但可能出现译文来回抖动的问题。更稳健的做法是在最终检测到句子结束时使用整句翻译覆盖。

系统集成：构建实时翻译管道

将流式 ASR 与增量翻译组合，形成完整的实时翻译系统。推荐使用异步架构，使音频采集、识别、翻译、渲染各司其职。

1. 推荐架构

麦克风 → [VAD] → 音频缓冲队列 → 流式ASR
                 ↓
          partial/final 文本队列
                 ↓
        增量翻译模块（优先级队列）
                 ↓
           显示更新（字幕/语音合成）