Attention 机制：让 AI 学会"抓重点"
上篇文章我们聊了 RNN 和 LSTM。这些模型处理序列数据时，是一个字（词）接一个字地往后读。但问题来了——当句子有 50 个词时，模型还记得第 1 个词说的啥吗？
还真不一定。
就像你读一本 300 页的小说，看到第 280 页时，第 3 章埋的伏笔早就忘干净了。RNN 也有这个毛病，学名叫"长期依赖问题"。
那怎么办？
2014 年，有个叫 Bahdanau 的人想出了个妙招：让模型自己决定该看哪几个词。这就是 Attention 机制诞生的故事。
1. Attention 的灵感：打破信息的"一口闷"
在说 Attention 之前，得先搞清楚它要解决什么问题。
早期的翻译模型用的是 Seq2Seq 架构。原理很简单：把整句话塞进一个"编码器"，压缩成一个固定长度的向量，再让"解码器"从这个向量里往外掏词。
问题就出在这个"压缩"上。
想象你读论文，把 50 页的内容强行塞进一个便签里。等别人拿到便签想还原内容，能还原多少？这就是信息瓶颈。
Attention 的核心思路是：别压缩了，全给你看。
但不是囫囵吞枣地看，而是让解码器在生成每个词的时候，自己决定应该重点关注原句的哪几个词。
打个比方：
你在一场嘈杂的鸡尾酒会上跟人聊天。背景音乐震天响，周围人声鼎沸。但你偏偏能听清对面人的话，把噪音全过滤掉了。
你的大脑在做一件事：选择性关注。
Attention 机制，就是让 AI 学会这种能力。
2. Query、Key、Value：注意力的三剑客
Attention 听起来玄学，但拆开看就是三个东西：Query（查询）、Key（键）、Value（值）。
别被名字吓到，我给你讲个故事。
你走进图书馆，想找"深度学习入门该看什么书"。这时候：
- Query 是你的问题："深度学习入门"
- Key 是每本书的分类标签：贴在你需要的书脊上，写着"机器学习"、"深度学习"、"人工智能"等
- Value 是书的实际内容：翻开来能学到东西
Attention 的计算过程就是：
- 用 Query 去跟每本书的 Key 比对，找出最相关的几本
- 根据相关程度，给这几本书的 Value 加不同的权重
- 把加权后的 Value 加起来，就是你需要的答案
在深度学习里，Q、K、V 都来自输入的词向量，通过可学习的矩阵 WQ、WK、WV 变换得到。模型通过训练，自动学会什么 Query 该匹配什么 Key。
就这么简单。
3. 三代演进：从加法到缩放点积
Attention 的计算方式经历了三次升级。
第一代：加法注意力（2014）
Bahdanau 最初的方案是用一个小型神经网络来计算 Query 和 Key 的"匹配分数"。
这个网络能学，但计算起来慢。因为每一步都要跑一遍神经网络。
第二代：点积注意力（2015）
有人灵机一动：直接用向量点积不行吗？
向量点积的几何意义是：两个向量越"对齐"，点积越大。
数学上这叫余弦相似度的简化版。算得快，效果也不差。
但问题来了。
第三代：缩放点积注意力（2017）
当向量维度 d 很大时（比如 512 维），两个随机向量的点积方差会变大。
方差大意味着值会飘。飘到 softmax 函数里，可能都被压成接近 0 的小数，或者爆成接近 1 的数，梯度消失。
解决方案也很简单：除以 √d。
这就是 Transformer 论文里那个著名公式的由来：
Attention(Q,K,V) = softmax(QK^T / √d) × V除以 √d 后，值的分布更稳定，训练更顺畅。
你可以理解为：从手动挡汽车，换到自动挡，再换到辅助驾驶。每一次演进都让操作更简单、效率更高。
4. Attention 凭什么革了 RNN 的命？
说了这么多，Attention 到底解决了什么问题？
第一，长期依赖不再头疼。
RNN 处理长句子时，早期信息要"走"过很多个时间步才能影响输出。这一路上，梯度会指数级衰减（梯度消失）。
Attention 呢？它同时看到所有词。 生成第 50 个词时，第 1 个词的信息直接加权传过来，不用排队。
第二，打破距离限制。
CNN 处理图像有个问题：卷积核只有那么大，远处的像素想交互得叠很多层。
Attention 呢？任意两点之间一步直达。 第一个词和最后一个词之间，可以直接算注意力。
第三，天然支持并行。
RNN 必须按顺序处理：先算第 1 个词，再第 2 个，再第 3 个。GPU 的并行能力用不上。
Attention 呢？所有词的位置可以同时计算。把串行任务变成了并行任务。
这意味着什么？
原来要等一杯咖啡的训练时间，换成 Attention 刷两条短视频就出结果了。
5. Attention 的高光时刻：Transformer 问世
2017 年，Google 发了篇论文，标题就叫《Attention is All You Need》。
这篇论文干了件大事：完全抛弃 RNN，用纯 Attention 构建模型。
这就是 Transformer。
Transformer 的核心是多头注意力（Multi-Head Attention）。
单头注意力像什么？像只用一种滤镜看世界——要么看颜色，要么看形状，只能选一个。
多头注意力呢？同时戴好几副眼镜，每副分析不同的东西。 一副看语法结构，一副看语义关联，一副看情感色彩……
这些头并行工作，结果拼起来，模型对文本的理解更全面了。
还有一个概念叫自注意力（Self-Attention）。
普通 Attention：Query 来自序列 A，Key 和 Value 也来自序列 A。这叫自注意力——模型在"自己看自己"。
交叉注意力：Query 来自序列 A，Key 和 Value 来自序列 B。比如翻译任务：英文句子是 K/V，法文输出是 Q。
BERT 用的是自注意力，GPT 用的是自注意力，你现在用的 ChatGPT，底层也全是注意力。
6. 不止文本：注意力成了 AI 的万能钥匙
Attention 最早用在翻译上，但它的野心远不止于此。
视觉领域，Vision Transformer（ViT）把图片切成 16×16 的小块，每个块当一个"词"，用注意力处理。
效果？直接干翻了统治 CV 领域多年的 CNN。
生成领域，扩散模型（比如 DALL·E、Stable Diffusion）里也塞了注意力层。生成的图像为什么越来越清晰？注意力在帮你"盯"着目标，逐步修正。
现在的 LLM，GPT-4、Claude、Gemini……每一层 Transformer 都在跑注意力运算。
你说它是翻译工具？不对。它是 AI 时代的万能钥匙。
其实 Attention 走到今天，也遇到了自己的瓶颈——计算量随序列长度平方增长。处理 10 万字的文档？得算 10 万 × 10 万次。
所以 Transformer 之后，科学家们又在折腾各种"高效注意力"变体。故事还没完，我们接着聊。