JMHappy_Xu头像

8B 模型明明装得下,为什么 8 个长对话又吃掉 9 GiB 显存?

一张卡装得下 8B 模型,为什么长对话一多还是容易把显存挤满?先把权重和 KV Cache 分开算。权重通常随模型加载一次,KV Cache 则要保存每条活跃序列里历史 token 的键和值,还会随着新 token 增长。

从 Qwen3-8B 配置推一遍

公开配置里有 36 层、32 个查询头、8 个 KV 头,每个头的维度为 128。假设缓存用 BF16,每个数 2 字节。每个 token 的逻辑缓存体积是:

2 (K 和 V) × 36 (层) × 8 (KV 头) × 128 (头维度) × 2 (字节)
= 147456 字节 = 144 KiB

容易误算的地方是填了 32 个查询头。这里 4 个查询头共享一组 K、V,缓存尺寸按实际存储的 8 个 KV 头计算。用 32 会把结果放大四倍。

用 Python 算几个能拿去做预算的数字

layers, kv_heads, head_dim, item_bytes = 36, 8, 128, 2
bytes_per_token = 2 * layers * kv_heads * head_dim * item_bytes

for lengths in ([8192], [8192] * 8, [4096, 8192, 16384]):
    gib = sum(lengths) * bytes_per_token / 2**30
    print(f"{sum(lengths):>6} tokens -> {gib:.3f} GiB")
  8192 tokens -> 1.125 GiB
 65536 tokens -> 9.000 GiB
 28672 tokens -> 3.938 GiB

这里的长度是已经进入缓存的 token 总数,包含提示词和已经生成的部分。8 个请求若各自保留 8192 token,而且没有共享前缀,单是 KV 缓存就有 9 GiB 的逻辑数据。权重、运行时工作区以及显存分配开销还要另计。

为什么分页管理能帮忙

如果每条请求一上来就按最大上下文划一整块,短请求会空出一大截。分页式管理可以按固定 token 块逐步分配,让不同请求用多少拿多少,最后一块可能仍有少量空位。两条请求共享可复用的前缀时,支持前缀缓存的引擎还可以复用相应的缓存块。已经驻留且独占的一段历史,分页本身不会改变其中每个 token 的原始字节数。

所以我做并发预算会优先看「预计同时驻留多少 token」。十个短请求和十个长请求的开销可能差很远。实际部署时还要看引擎的块大小、前缀复用率、缓存精度和分片方式;监控里的预留显存也可能高于当前活跃数据。

参考:Qwen3-8B 官方配置 · PagedAttention 论文

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/2401_83355190/article/details/170872338

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--