动态 NTK：自适应调整缩放的上下文扩展策略

if L_current > L_train: α = L_current / L_train else: α = 1.0 (不缩放)

然后，使用这个动态计算的 `α` 去执行 NTK-aware 插值：将 RoPE 的基频率从 `theta = 10000` 调整为 `theta_new = theta * (α)^(dim/(dim-2))`（实现时通常简化为直接缩放角度或重计算频率）。

**直觉理解**：
- 当 `L_current` 刚刚超过 `L_train` 一点时（比如 1.1 倍），`α` 接近 1.1，缩放幅度极小，几乎不影响短距离性能。
- 当 `L_current` 增长到 2 倍训练长度时，`α = 2`，缩放效果与固定 NTK (`α=2`) 一致。
- 如果 `L_current` 进一步变长，`α` 继续增大，动态提供更强的上下文扩展能力，理论上可在无微调下支持数倍于训练长度的序列。

### 优势
1. **无损短文本**：长度未超出训练窗口时完全不干预，保持原有模型最佳性能。
2. **自适应扩展**：支持任意长度的动态输入，无需预先定义扩展目标。
3. **实现简单**：仅需修改 RoPE 应用时的一个参数计算，几乎零额外开销。
4. **渐进退化**：性能随长度平滑下降，不会出现突然的断崖式崩坏。

## 算法步骤详解
以下结合伪代码阐述动态 NTK 在 Transformer 推理中的实现流程。

1. **获取原始训练长度 `max_seq_len`**（例如从模型配置中读取 2048）。
2. **计算当前序列长度 `seq_len`**（动态获取，使用输入张量的形状[1]）。
3. **计算动态缩放因子**：

scale = max(1.0, seq_len / max_seq_len)

4. **计算新的 RoPE 基频**（以 LLaMA 类实现为例）：
```python
base = 10000
dim = head_dim  # 通常是128
# 动态调整基频，保留原始实现风格
new_base = base * (scale ** (dim / (dim - 2)))
# 重新生成频率参数
inv_freq = 1.0 / (new_base ** (torch.arange(0, dim, 2).float() / dim))

1. 应用旋转位置编码：使用 inv_freq 计算 cos 和 sin 表，不再使用缓存（因为 seq_len 可变，但可预计算到最大长度）。
2. 正常执行注意力计算。

注意：部分高效实现会预计算 cos/sin 表，动态 NTK 需要根据当前 scale 在线计算，但开销极小，可通过 CUDA 融合或 JIT 编译优化。

一个关键修改：按块解耦

为提高效率，动态 NTK 可每层独立计算 scale，或统一全局一次计算。对于极长序列（如 32k+），由于不同层可能对距离敏感度不同，有研究提出层自适应 NTK，但基础动态 NTK 全局统一已足够有效。

实验效果与使用建议

• 无微调扩展：在 LLaMA 2 7B 上，动态 NTK 可将 4k 训练模型直接外推到 8k 上下文，困惑度仅从 5.6 略升至 6.2（固定 PI 则升至 12+）。
• 短文本保真：在 0～2k 长度区间，动态 NTK 性能与原始模型完全一致，无退化。
• 配合少量微调更佳：若在目标长文本上做极少量（几百 steps）微调，动态 NTK 可支持 32k 甚至更长，且收敛速度远快于从头训练长上下文模型。

适用场景

• 聊天机器人：对话历史长度不确定，需要良好支持任意长度。
• RAG 系统：检索到的文档块长度多变，动态 NTK 保证窗口利用率最优。
• 长文档摘要：直接输入完整文档，避免切分打断上下文。
• 代码助手：需要理解完整代码库的长距离依赖。

与其他扩展方法对比

可以看到，动态 NTK 在“零样本可用性”和“实现简易度”方面具有显著优势，是生产环境中快速扩展上下文的首选方案。

手把手实现指南（以 PyTorch 为例）

假设你已有基于 LLaMA 模型的推理代码，只需修改 RoPE 相关部分。

原始 RoPE 预计算（通常缓存）：

inv_freq = 1.0 / (base ** (torch.arange(0, dim, 2).float() / dim))

替换为动态 NTK 版本：

def _get_dynamic_ntk_inv_freq(base, dim, max_seq_len, current_seq_len):
    # 动态缩放因子，下限 1.0
    scale = current_seq_len / max_seq_len if current_seq_len > max_seq_len else 1.0
    # NTK-aware 调整基频
    new_base = base * scale ** (dim / (dim - 2))
    inv_freq = 1.0 / (new_base ** (torch.arange(0, dim, 2).float() / dim))
    return inv_freq