在继续之前，需要区分两个容易混淆的概念。**KV Cache** 是模型内部的优化——在一次推理过程中，缓存已计算的 token 的键值对，避免重复计算。**Prompt Cache** 则是 API 服务层的优化——跨多次 API 请求之间，缓存相同前缀的计算结果。两者的优化原理相似（都利用前缀不变性），但作用层级不同：KV Cache 加速单次请求内的 token 生成，Prompt Cache 减少跨请求的重复计算成本。Prompt Cache 的工作方式是：API 服务商对请求的前缀进行匹配，如果多次请求的前缀相同（比如系统提示词和工具定义不变），就直接复用之前计算好的 KV Cache，而不需要重新计算这部分 token 的键值对。缓存读取的成本远低于首次计算——以 Anthropic、DeepSeek 为例约为十分之一，各厂商折扣不同（如 OpenAI 约为五折）。不过各家的启用方式和计费细节差异不小：Anthropic 需要在请求中显式设置 `cache_control` 断点才会缓存（并非自动命中），缓存写入有约 1.25 倍的加价，且有最小可缓存长度（如 1024 token）和 TTL 限制（默认约 5 分钟，过期即失效）；OpenAI 则是自动前缀缓存，无需显式声明。
在设计上下文时，两个层级的缓存都要求前缀稳定——但 Prompt Cache 的经济影响更大，因为它直接影响 API 计费。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/lj1109053360/article/details/169156079
