一张卡装得下 8B 模型,为什么长对话一多还是容易把显存挤满?先把权重和 KV Cache 分开算。权重通常随模型加载一次,KV Cache 则要保存每条活跃序列里历史 token 的键和值,还会随着新 token 增长。
从 Qwen3-8B 配置推一遍
公开配置里有 36 层、32 个查询头、8 个 KV 头,每个头的维度为 128。假设缓存用 BF16,每个数 2 字节。每个 token 的逻辑缓存体积是:
2 (K 和 V) × 36 (层) × 8 (KV 头) × 128 (头维度) × 2 (字节)
= 147456 字节 = 144 KiB
容易误算的地方是填了 32 个查询头。这里 4 个查询头共享一组 K、V,缓存尺寸按实际存储的 8 个 KV 头计算。用 32 会把结果放大四倍。
用 Python 算几个能拿去做预算的数字
layers, kv_heads, head_dim, item_bytes = 36, 8, 128, 2
bytes_per_token = 2 * layers * kv_heads * head_dim * item_bytes
for lengths in ([8192], [8192] * 8, [4096, 8192, 16384]):
gib = sum(lengths) * bytes_per_token / 2**30
print(f"{sum(lengths):>6} tokens -> {gib:.3f} GiB")
8192 tokens -> 1.125 GiB
65536 tokens -> 9.000 GiB
28672 tokens -> 3.938 GiB
这里的长度是已经进入缓存的 token 总数,包含提示词和已经生成的部分。8 个请求若各自保留 8192 token,而且没有共享前缀,单是 KV 缓存就有 9 GiB 的逻辑数据。权重、运行时工作区以及显存分配开销还要另计。
为什么分页管理能帮忙
如果每条请求一上来就按最大上下文划一整块,短请求会空出一大截。分页式管理可以按固定 token 块逐步分配,让不同请求用多少拿多少,最后一块可能仍有少量空位。两条请求共享可复用的前缀时,支持前缀缓存的引擎还可以复用相应的缓存块。已经驻留且独占的一段历史,分页本身不会改变其中每个 token 的原始字节数。
所以我做并发预算会优先看「预计同时驻留多少 token」。十个短请求和十个长请求的开销可能差很远。实际部署时还要看引擎的块大小、前缀复用率、缓存精度和分片方式;监控里的预留显存也可能高于当前活跃数据。
参考:Qwen3-8B 官方配置 · PagedAttention 论文
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/2401_83355190/article/details/170872338



