最新
多查询注意力 MQA
学习 MQA 让所有 Query 头共享同一套 Key/Value 投影，大幅减少推理时的 KV 缓存，加速自回归生成。
3
0
0
2026-06-22
最新
PagedAttention 分页注意力
学习 PagedAttention 如何借鉴操作系统分页思想，将 KV 缓存划分为块进行非连续存储，近乎消除内部碎片，革命性提升服务吞吐。
1
0
0
2026-06-14