首页 > 试题广场 >

在大模型应用的成本优化中,以下关于Prompt Cachin

[单选题]
在大模型应用的成本优化中,以下关于Prompt Caching的描述哪个最准确?
  • Prompt Caching将频繁使用的完整Prompt及其响应缓存起来,相同Prompt直接返回缓存结果
  • Prompt Caching缓存System Prompt和长前缀的KV Cache,后续请求共享相同前缀时可跳过这部分的计算
  • Prompt Caching将Prompt模板编译为更高效的内部表示以加速推理
  • Prompt Caching自动将长Prompt压缩为短Prompt以减少Token消耗

这道题你会答吗?花几分钟告诉大家答案吧!