长上下文扩展技术：突破窗口限制的全方位手段
长上下文扩展技术：突破窗口限制的全方位手段
在自然语言处理与大模型应用日益深入的今天，“上下文长度”已成为衡量模型能力的关键指标。传统的 Transformer 模型因自注意力机制存在二次方复杂度，实际可处理的文本长度通常被限制在数千 token。长上下文扩展技术正是为了解决这一瓶颈而生，它使我们能够突破固定的窗口限制，让模型理解整本小说、处理完整代码库或进行持续数小时的对话成为可能。
本教程将围绕位置编码优化、注意力机制近似、记忆与检索系统、渐进训练策略四大核心方向，带你全面理解如何让大语言模型获得“长时记忆”。
位置编码的扩展与演进
位置编码是 Transformer 感知序列顺序的基础。要扩展上下文，往往最先需要改造的就是位置编码方式。
绝对位置编码与固定限制
原始 Transformer 使用正弦位置编码，将位置信息与词嵌入相加。这种编码虽然具有理论上的外推性，但实际训练长度一旦确定，模型对超出训练步数的位置感知能力会急剧下降。如果训练时最大长度为 512，直接将序列拉长到 4096 会导致困惑度爆炸。
相对位置编码的灵活性
相对位置编码不再为每个绝对位置赋予固定向量，而是关心 token 之间的距离。经典的实现如 Transformer-XL 中的段级循环与相对位置编码，使得模型可以以缓存的方式跨越片段，理论上允许无限拓展上下文而不造成额外计算开销。它通过引入相对距离偏置，让注意力得分依赖于相对位移，极大提升了长度泛化能力。
RoPE 与插值扩展
旋转位置嵌入（RoPE）通过向查询和键向量施加旋转矩阵来编码位置信息，在 LLaMA、Qwen 等主流模型中广泛使用。当我们需要扩展上下文而不进行完全重新训练时，位置插值（Position Interpolation）策略成为救星。基本思想是将原本的位置索引进行线性压缩，例如将索引映射为 pos * (old_max_len / new_max_len)，从而让模型仅通过极少量的微调就能适应 2～4 倍长的上下文。后续提出的 NTK-aware 插值、动态 NTK 等方法进一步优化了高频成分的保留，使得直接外推时高性能得以维持，甚至可不经微调就实现上下文长度倍增。
注意力机制的近似与压缩
自注意力计算量呈平方增长是长上下文的根本性能瓶颈。为此，研究者提出了多种高效注意力机制，在精度与速度间取得权衡。
稀疏注意力模式
稀疏注意力假设并非所有 token 对之间都需要交互。滑动窗口注意力（Sliding Window）让每个 token 只关注前后固定范围内的邻居；膨胀滑动窗口则在窗口内部隔点采样，增大感受野。Longformer 综合使用滑动窗口、全局注意力（为特定 token 如 [CLS] 赋予全局视野）和扩张滑动窗口，在长文档任务上实现了与全注意力相当的性能，同时将复杂度降至线性。
低秩与核化近似
线性注意力（Linear Attention）将 softmax 注意力分解为核函数形式 attention(Q,K,V) = ϕ(Q)(ϕ(K)ᵀV)，通过改变乘法顺序将计算从 O(n²d) 降为 O(nd²) 或 O(ndm)。Performer 提出使用正交随机特征近似 softmax，保证了严格的线性复杂度。这类方法在极长序列上优势明显，但在短序列上的建模精度常不及标准注意力，因而常被作为混合策略的一部分。
分层与分块注意力
分块注意力（Blockwise Attention）将序列切分为块，块内做全注意力，块间通过汇总向量交互。BigBird 在此基础上增加随机注意力和全局 token，结合稀疏、随机与全局三者，证明了线性复杂度的注意力在图灵完备性上不输全注意力。这种方法特别适合文档级任务，因为自然的段落分割与分块结构契合。
记忆与检索增强架构
不必让模型一次处理全部历史，记忆和检索机制为长上下文提供了一种外部化、结构化的解决方案。
记忆网络与缓存机制
传统记忆网络将对话历史或文档集合存入外部存储，模型通过读操作选择性获取信息。在大模型时代，Transformer-XL 式的缓存记忆最为经典：处理下一段时，将上一段的隐状态作为 memory 拼接至当前段，梯度不再回传至记忆部分。这让模型能在推理时读取远超训练长度的上下文，并且每个片段的计算复杂度恒定。
检索增强生成
检索增强生成（RAG）将长上下文扩展转为文档检索问题：将大规模文档库切块后建立向量索引，每次推理时检索最相关的若干片段拼入提示词。这样做不仅突破了单次输入的 token 限制，还实现了信息的动态更新。对于需要内化整本书或整个知识库的场景，可配备一个检索模块与生成模型端到端配合，使用类似 RETRO 的结构，在训练阶段就学习从数十亿 token 的外部数据中检索。
压缩记忆与摘要缓冲
当对话无限延长时，全量缓存仍会超出容量。这时可引入递归摘要策略或压缩记忆模型。AutoCompressor 等方法将长上下文分段压缩为 summary tokens 放入上下文，后续段只需阅读这些压缩向量，极大削减存储。类似于人类把读过的一章浓缩成几个要点，模型依靠“摘要记忆”记住核心信息，放弃细节。
训练策略与数据配方
优秀的长上下文模型不仅依赖于架构创新，还离不开精心设计的训练学方法。
分阶段长度升温
从头开始在超长序列上训练会导致计算爆炸且极不稳定。普遍采用的长度升温策略：先用较短序列（如 2k）训练大部分步数，随后逐渐将长度扩大到 8k、32k、128k 等，每个阶段使用调小后的学习率。部分研究甚至采取长度-批量大小联合调整，保持每步 token 总量稳定，让模型平滑适应长距离依赖。
长文本数据配比
并非所有数据都包含长距离依赖。为了让模型学会使用延长后的上下文，训练数据中必须含有足够比例的真实长距离依赖样本。例如，加入书籍、长对话、长文档链接等，并设计“大海捞针”类任务（在一大段不相关文本中插入一个事实，要求模型找出），强迫模型关注远处信息。数据显示，如果仅用短文本训练位置扩展后的模型，长上下文能力只停留在纸面，实际长依赖效果不佳。
继续预训练与微调的协同
扩展上下文往往先通过继续预训练（Continue Pre-training）来调整基础模型，再针对目标下游任务进行指令微调。一个常用范式是：对基础模型应用 RoPE 插值进行初始化，然后使用长文本语料进行几百到几千步的继续预训练，最后在长度均匀分布的任务混合体上做监督微调。这样既可以保留原有能力，又获得稳定的长文本处理能力。
推理部署的实践要点
即使训练出了支持长上下文的模型，部署时依然面临显存与服务质量的挑战。
KV 缓存管理与量化
KV 缓存会随序列增长线性膨胀，对于 128k 上下文，仅 KV 缓存就可能占用数十 GB 显存。多查询注意力（MQA）和分组查询注意力（GQA）通过共享键值头大幅减少缓存，此外，可对缓存进行 8 位或 4 位量化，结合分页显存管理技术能有效提升并发吞吐。推理框架如 vLLM 已将这些技术产品化。
提示词压缩与截断策略
对于超出窗口极限的输入，需要智能截断。保留首尾、检索中间关键片段或使用小模型预先打分筛选重要句子都是常用方法。近年涌现的 LLMLingua 等工作可利用小语言模型对提示词进行无损或微损压缩，将长提示缩减到 2～5 倍，直接扩大了有效上下文的范围。
技术趋势与应用方向
长上下文扩展技术正高速发展，几个明显趋势值得关注：
- 百万 token 突破：Google Gemini 1.5 Pro 通过混合架构与高效服务栈已能稳定处理百万级 token，引领业界向超长上下文迈进。
- 原生多模态长上下文：文本、图像、音频、视频的任意长度交织输入，要求跨模态的位置对齐和记忆机制，成为新的研究前沿。
- Agent 与持久记忆：自主智能体需要跨越多次对话，甚至跨越真实时间的长期记忆，技术路线融合了记忆网络、向量库、结构化笔记和渐进式总结。
- 评估标准化：除“大海捞针”测试外，RULER、L-Eval、InfiniteBench 等基准从多维度衡量真实长上下文理解、推理和检索能力，推动技术从“能读入”向“真理解”演进。
通过掌握上述技术全景，你不仅能理解模型如何破除窗口限制，更能为实际项目选择和组合方案提供坚实的判断依据。无论是训练一个支持长文档的助手，还是部署高效推理服务，长上下文扩展技术都是必须掌握的核心工具箱。