如何估算一个大模型部署需要多少显存？
面试里经常有人问我：“我有一张4090显卡，能跑多大的模型？”这个问题本质就是在问显存估算。
大模型推理的显存由三部分构成：模型权重、KV Cache、其他开销。 无论你有多少并发请求，模型权重必须老老实实待在显存里；KV Cache是加速推理的临时缓存，多少人并发就占多少显存；其他开销包括激活值、优化器状态等杂项。
懂了这三部分，你就能快速估算任何场景的显存需求。往下看具体怎么算。
模型权重：参数量与精度的博弈
先说最简单的部分——模型权重本身占多少显存。
公式只有一行：显存(GB) = 参数量(B) × 字节数
这里B代表十亿参数，字节数取决于你用哪种精度格式：
- FP32（32位浮点）：4字节，权重显存 = 参数量 × 4GB
- FP16/BF16（16位浮点）：2字节，权重显存 = 参数量 × 2GB
- INT8（8位整型）：1字节，权重显存 = 参数量 × 1GB
- INT4（4位整量）：0.5字节，权重显存 = 参数量 × 0.5GB
举个例子：
- 7B模型 FP16：7 × 2 = 14GB
- 13B模型 FP16：13 × 2 = 26GB
- 70B模型 FP16：70 × 2 = 140GB
- 同一个70B用INT8量化：70 × 1 = 70GB
精度越低，显存越省，但模型效果可能打折扣。量化就是在“省显存”和“保效果”之间找平衡。
KV Cache：并发用户的“加速引擎”
模型权重是固定的，但KV Cache是动态的——并发数越多，占的显存越多。
当你和AI对话时，每生成一个token，模型会计算Attention，这需要用到之前所有token的Key和Value。这些临时数据存在显存里就是KV Cache。
公式：KV Cache显存 ≈ 层数 × 隐藏维度 × 2(KV) × 2字节(FP16) × 上下文长度 × 并发数
别被公式吓到，我带你拆解一下：
- 层数：LLaMA 7B有32层，70B有80层
- 隐藏维度：7B是4096，70B是8192
- 2(KV)：每个token要存Key和Value两份
- 2字节：FP16格式每个数占2字节
- 上下文长度：你设置的最大生成长度
- 并发数：同时处理多少个请求
关键规律：KV Cache和并发数成正比。10个并发就是1个并发的10倍。
举个例子：70B模型，32K上下文，10并发
- 层数80 × 隐藏维度8192 × 2 × 2 × 32768 × 10
- 算下来约 800GB
你发现问题了吗？模型权重才140GB，但10个并发就占800GB——长上下文+高并发时，KV Cache才是显存大户。
这就像餐厅翻台率高了，餐具就要准备更多，不然顾客等太久。
实战估算与优化策略
理论讲完了，来个实战例子。
三步估算法：
第一步，确定参数。
假设场景：70B模型，FP16精度，32K上下文，10并发
第二步，分项计算。
- 模型权重：70B × 2字节 = 140GB
- KV Cache：80层 × 8192 × 2 × 2 × 32768 × 10 ≈ 800GB
- 其他开销：按10%估算 ≈ 94GB
第三步，汇总求和。
总计：140 + 800 + 94 ≈ 1034GB，需要约1TB显存。
这什么概念？消费级显卡根本扛不住，你需要专业级的多卡方案。
那怎么优化？
方案一：量化压缩
- FP16 → INT8：省50%显存，权重从140GB降到70GB
- FP16 → INT4：省75%显存，权重从140GB降到35GB
量化就像行李打包——同一个人，穿薄衣服比穿厚羽绒服省空间。
方案二：KV Cache优化
- PageAttention：像内存分页一样管理KV Cache，避免碎片化，显存利用率提升30%+
- GQA（Grouped Query Attention）：多个query共享一组KV，减少重复存储
方案三：多卡并行
- Tensor并行：把权重按维度切分到多张卡
- Pipeline并行：把层切分到多张卡
- 70B FP16跑起来，至少需要2-4张80GB显卡
硬件配置参考：
- 7B FP16：单张RTX 3090/4090（24GB）能跑
- 13B FP16：需要2张卡或量化到INT8
- 70B FP16：必须多卡方案，8×80GB或量化到INT4单卡勉强能跑
面试怎么答
给你一个可以直接背的版本：
大模型推理显存主要看三部分：模型权重、KV Cache、其他开销。
模型权重显存 = 参数量 × 精度字节数，7B模型FP16需要14GB，70B需要140GB。
KV Cache显存 = 层数 × 隐藏维度 × 2 × 2字节 × 上下文长度 × 并发数，和并发数成正比，长上下文高并发时可能占80%以上。
其他开销按10%估算。实际计算时先分项再汇总，比如70B模型32K上下文10并发，模型权重140GB加KV Cache约800GB加其他开销94GB，总计需要约1TB显存。
优化手段包括量化压缩（INT8/INT4）、PageAttention和GQA降低KV Cache开销、以及多卡并行。
一句话总结
显存估算核心：模型权重看参数量和精度，KV Cache看并发和上下文长度，三部分相加再留10%余量，就是你需要的总显存。