长上下文在线教程 | 突破窗口限制

将存储的键和值张量量化为 INT8 甚至更低精度，大幅降低长序列推理时的 KV 缓存显存占用量。

人工智能 KV缓存量化显存节省长上下文

19 0 0

2026-06-29

学习零一万物的 Yi 系列模型，强调其在长上下文处理上的能力，以及面向多语言的先进架构设计。

人工智能 Yi 零一万物长上下文

19 0 0

2026-06-22

在长文档中随机插入特定事实，测试模型在各深度和位置上的召回准确性，成为长上下文评测标准。

人工智能大海捞针评估长上下文

17 0 0

2026-06-22

学习 YaRN 同时调整 RoPE 的频率基数和注意力温度，仅需微量微调即可让模型在 128k 甚至更长的上下文上保持准确。

人工智能 YaRN 位置编码长上下文

15 0 0

2026-06-22

综合学习位置插值、NTK 缩放、YaRN 和稀疏注意力等方法，将预训练模型的上下文窗口扩展数倍。

人工智能长上下文位置编码扩展

18 0 0

2026-06-22

学习通过稀疏化注意力矩阵，如局部窗口、空洞窗口和全局标记等方式，显著降低计算量并扩展模型上下文长度。

人工智能稀疏注意力高效长上下文

20 0 0

2026-06-21

探索序列并行技术，将长序列沿序列维度切分到多个设备，结合 Ring Attention 等方法降低注意力计算的显存峰值，训练更长上下文。

人工智能序列并行长上下文显存优化

22 0 0

2026-06-14

免费编程教程