Transformer 模型的性能瓶颈在哪？
这道题考的是你对 Transformer 性能瓶颈的深层理解，不是让你背公式，而是看你能不能说清楚"为什么 Transformer 快不起来"。核心就一件事：Transformer 的瓶颈在内存带宽，不在计算能力。
我从四个方面来讲：瓶颈本质、KV Cache 的内存黑洞、标准 Attention 为什么慢、优化方案有哪些。
Transformer 的瓶颈到底是啥？
先泼一盆冷水：GPU 的算力不是问题，内存带宽才是。
Transformer 的 Operational Intensity 只有 2.74 FLOPs/Bytes。这个数字啥意思？就是你每往 GPU 搬 1 字节数据，只能做 2.74 次浮点运算。GPU 的计算能力动不动几千 TFLOPs，但内存带宽每秒只能喂进去几百 GB 数据。
算力是法拉利，内存带宽是乡间小路。车再快，上了小路也得堵着。
看 Roofline 模型更清楚：Transformer 的实际算力落在"内存带宽瓶颈区"，离计算峰值差着十万八千里。GPU 大部分时间在等数据搬运，而不是在做计算。
所以别再说"Transformer 计算量太大了跑不动"。不是的，是你内存不够快。
KV Cache 是个内存黑洞
说到内存问题，必须提 KV Cache。
Transformer 做推理时，每个 token 都要记住之前所有 token 的 Key 和 Value。这些缓存数据不是临时变量，是实实在在占显存的东西。
关键数据：KV Cache 占总存储需求的 87%，模型权重只占 13%。
你没看错。模型参数才占一成多，缓存占近九成。举个例子，70B 参数的模型，权重占用大约 140GB 显存，但 KV Cache 在长序列下轻松吃掉大几百 GB。
长序列场景更夸张。KV Cache 大小和序列长度是平方关系——序列翻倍，缓存体积变成四倍。这就像浏览器开 Tab，一个视频网站少说几十个请求，每个请求都有自己的缓存，开着开着内存就爆了。
还有一个问题：碎片化。
系统预分配固定长度的缓存空间，但实际请求的序列长度参差不齐。有的短，有的长，短的用不完，长的塞不下。预分配导致内部碎片，不同请求长度差异导致外部碎片。可用内存明明不少，但就是分不出去。
标准 Attention 为什么慢？
说完缓存，再看 Attention 本身为啥慢。
标准 Attention 实现里，每次计算 QK^T 和 softmax，都得把 Q、K、V 从 HBM（高带宽内存，也就是显存）读到 GPU 核心里。用完再写回去。
这就有问题了。Q、K、V 的数据量是 O(n²)，n 是序列长度。序列越长，需要搬运的数据越多，而且每次都要走一遍"读-算-写"的流程。
类比一下：就像你查字典，每次查一个词，得跑到书架最远端把书取出来，翻到那一页，看完再跑回去放好。来回跑腿的时间比看书的时间还多。
Beam Search 场景更惨。Beam Search 要同时维护多条候选序列，每条序列都复制一份 KV Cache。复制操作（memcpy）本身就很贵，多条序列加起来，内存带宽压力翻了好几倍。
核心问题就一个：HBM 访问太频繁，数据搬运成了瓶颈。
优化方案两板斧
现在说怎么解决这个问题。两套主流方案：FlashAttention 和 PagedAttention。
FlashAttention：优化取数据路线
FlashAttention 的核心思路是 I/O 感知。
它不一次性把所有 Q、K、V 加载到核心里，而是切成小块（Tile），分批处理。每个小块在 GPU SRAM 里算完就丢掉，不用反复读写 HBM。
还是那个查字典的比喻：FlashAttention 相当于把字典放在手边，不用每次都跑到书架去拿。路线优化了，跑腿时间大幅减少。
实际效果：FlashAttention-2 达到 540 TFLOPs/s，FlashAttention-3 更是冲到 740 TFLOPs/s。对比标准 Attention 那点可怜的算力，差距肉眼可见。
FA-2 和 FA-3 还有区别。FA-2 主要是减少非矩阵运算的 overhead，FA-3 引入了生产者-消费者异步机制，进一步压榨硬件利用率。
PagedAttention：解决内存碎片
PagedAttention 解决的是另一个问题：碎片化。
它把 KV Cache 切成固定大小的块（Block），通过虚拟内存机制管理。这些块不需要物理连续，按需分配就行。
类比：之前是给每个请求分配一整层书架，用不用得完都得占着；PagedAttention 改成了书架隔板，想用多少格就用多少格，不浪费。
这套机制也支持更灵活的内存分配。不同请求、不同序列的 KV Cache 可以共享底层存储，空间利用率大幅提升。vLLM 就是靠这个把并发量提上去的。
面试怎么答
基础版（能过的回答）
Transformer 的性能瓶颈在内存带宽，不在计算能力。核心原因是 KV Cache 占用了大量显存，长序列场景下占比超过 87%，导致 GPU 大量时间在等待数据搬运而不是做计算。标准 Attention 实现需要频繁读写 HBM，O(n²) 的访问开销让内存带宽成了瓶颈。优化方向有两个：一是 FlashAttention 通过 I/O 感知算法，把数据切成小块放在 SRAM 里算，减少 HBM 访问次数；二是 PagedAttention 通过非连续内存块管理解决碎片化问题，支持更高并发。硬件选型上，显存带宽比算力更重要，建议选高带宽、大显存的 GPU。
要点：内存带宽瓶颈 → KV Cache 87% → FlashAttention + PagedAttention → 硬件选型。逻辑链条完整，基本能过。
加分版（让面试官眼前一亮）
从 Roofline 模型看，Transformer 的 Operational Intensity 只有 2.74 FLOPs/Bytes，实际算力落在内存带宽瓶颈区，和计算峰值的差距说明 GPU 算力根本没发挥出来。
KV Cache 问题有两层：一是占比高（87%），长序列下呈平方增长；二是碎片化，预分配固定长度导致内部碎片，不同请求长度差异导致外部碎片，可用内存利用率低。
标准 Attention 的问题在于 Q、K、V 需要反复读写 HBM，Beam Search 场景下还要做昂贵的 memcpy 操作，多条序列的 KV Cache 复制开销巨大。
优化层面，FlashAttention-2 和 FA-3 有区别：FA-2 减少非矩阵运算 overhead，FA-3 引入生产者-消费者异步机制。PagedAttention 的核心是虚拟内存 + 分块管理，KV Cache 不需要物理连续，支持细粒度分配。
硬件选型有 trade-off：可以适当降低算力要求，选显存带宽高的型号，节约成本同时满足性能需求。
能说出 Operational Intensity 具体数字、FA-2 和 FA-3 区别、PagedAttention 虚拟内存机制的，基本就是加分项了。
一句话总结
Transformer 的瓶颈在内存带宽，KV Cache 吃掉近九成显存，FlashAttention 优化数据搬运路线，PagedAttention 解决碎片化问题。