最新
分组查询注意力 GQA
在 MHA 和 MQA 之间折中,将 Query 头分组共享 KV,以较少质量损失换取显著推理加速,成为 Llama 2 等模型标配。
3
0
0
2026-06-22
最新
视频 Transformer ViViT
探索 ViViT 如何将 Transformer 直接应用于视频,利用时空注意力及其因子化变体高效提取视频特征,取代 3D CNN。
5
0
0
2026-06-19
最新