基于神经正切核理论,NTK 感知缩放对 RoPE 的不同频率维度施以不同缩放因子,更好地保留高频细节,扩展上下文。
学习位置插值方法,直接对 RoPE 的位置索引进行线性缩放,将长距离“压缩”到原始上下文范围,实现快速扩展。