学习评估长上下文模型性能的基准和方法，包括大海捞针测试、RULER 等，检测模型在不同位置的信息提取能力。
采用滑动窗口限制每个 Query 只与相邻 Token 交互，结合层叠感受野，以线性复杂度处理超长序列。
解决超长文档的摘要难题，学习分层编码、稀疏注意力模型以及分块再聚合等策略，有效处理长文档摘要。