为什么大模型推理越来越快?聊聊 KV Cache

最近复盘了 KV Cache,给面试/实战一个好记版本:
1)Decoder 生成第 k 个 token 时,历史 token 的 K/V 不必重算,缓存后直接复用;
2)不做缓存会反复算历史注意力,长度一长延迟明显;
3)KV Cache 省算力但吃显存,长上下文时显存压力会成为瓶颈;
4)MHA→MQA→GQA→MLA,本质都在做“少缓存/更聪明缓存”,其中 GQA 是当前工程里很常见的平衡点。

一句话:KV Cache 是速度的来源,注意力变体是显存账本。

#大模型# #推理优化# #面试复盘#
全部评论

相关推荐

狄文君:多段项目经历 + 专业技能拉满,这简历很能打,坐等好消息!
点赞 评论 收藏
分享
02-28 01:18
已编辑
南昌大学 后端工程师
黑皮白袜臭脚体育生:把开源经历放个人项目上边应该更好,就像大部分人都把实习经历放个人项目上边
点赞 评论 收藏
分享
评论
1
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务