Decoder-only、Encoder-only、Encoder-Decoder 架构怎么区分？
一句话核心：这是 Transformer 模型的三种基础变体，核心区别在于注意力机制和生成方式，决定了模型擅长理解、生成还是翻译转换，是理解现代大语言模型（LLM）架构选型的必考题。
核心概念（术语表）
- Transformer：一种基于自注意力机制的深度学习模型架构，最初（2017年）由 Google 团队提出用于机器翻译。
- Encoder（编码器）：负责理解和提取输入文本信息，输出一个富含上下文信息的连续向量表示（嵌入）。
- Decoder（解码器）：负责根据输入信息（或自身的上文）生成输出序列，通常是一个 token 一个 token 地生成。
- 自注意力机制（Self-Attention）：让序列中的每个元素都能计算与所有其他元素的关联权重，是 Transformer 的核心。
- 掩码注意力（Masked Attention）：在自注意力计算中，通过遮盖矩阵强制模型只能看到当前位置及之前的信息，用于实现自回归生成。
- 双向注意力（Bidirectional Attention）：自注意力计算时，每个位置都能看到整个序列的所有信息，无遮挡，用于深度理解。
- 自回归（Autoregressive）：一种生成方式，模型在生成第 t 个 token 时，只能依赖 t-1 个及之前的 token，无法看到未来。
- 嵌入（Embedding）：将离散的词或 token 映射到连续的、高维的向量空间，用于表征其语义信息。
- Seq2Seq（Sequence to Sequence）：序列到序列任务，输入一个序列（如中文句子），输出另一个序列（如英文句子），是三种架构共同所属的任务范畴。
- BERT：基于 Encoder-only 架构的预训练语言模型代表，擅长文本理解任务。
- GPT：基于 Decoder-only 架构的预训练语言模型代表，是当今主流生成式大模型的鼻祖和基础。
- T5/BART：基于 Encoder-Decoder 架构的预训练语言模型代表，擅长序列转换任务。
- 因果性（Causality）：Decoder-only 架构模拟的人类思维逻辑，即基于已知的前文（原因）来推断和生成后文（结果）。
历史背景 / 来源
- 原始 Transformer 模型由 Google 的 Vaswani 等人于 2017 年在论文《Attention Is All You Need》中提出，最初用于英语-德语、英语-法语的翻译任务。该模型完整包含了编码器和解码器两个部分。
- 随后，研究者们发现 Transformer 的编码器和解码器模块可以独立使用或组合使用，从而衍生出了三种架构范式。例如，BERT（2018年，Google）是 Encoder-only 的成功代表，GPT（2018年起，OpenAI）是 Decoder-only 的成功代表，T5（2019年，Google）则将一切任务统一为文本到文本的格式，是 Encoder-Decoder 的成功代表。
工作原理 / 核心机制（详细讲解）
三种架构都源自 Transformer，但内部组件和数据流不同，导致了能力的分化。
第 1 段：整体思路
Encoder-only 专注于“理解”，Decoder-only 专注于“生成”，Encoder-Decoder 专注于“理解后转换”。它们的核心区别在于如何处理和“看”输入/输出序列的上下文信息。
第 2 段：输入/输出
- Encoder-only：输入一整段文本，输出通常是与输入等长的一系列向量表示（嵌入），或在此基础上添加一个分类头输出固定维度的结果（如情感标签）。
- Decoder-only：输入是起始 token（或一段提示语），输出是自回归生成的、长度可变的 token 序列。
- Encoder-Decoder：输入一个序列（如英文），编码器将其压缩为上下文向量，解码器基于此向量生成另一个序列（如中文）。
第 3 段：Encoder-only 核心步骤（以 BERT 为例）
第一步：输入处理。将句子分词，并加入特殊的 [CLS]（用于分类）和 [SEP]（用于分隔句子）标记。例如：[CLS] 我 爱 自然 语言 处理 [SEP]。第二步：双向注意力计算。所有 token 可以无差别地相互计算注意力权重，“我”可以看到“处理”，“处理”也可以看到“我”，从而深度理解整个句子的上下文语义。第三步：输出嵌入。模型为每个输入 token 输出一个高维向量。对于分类任务，通常取 [CLS] 对应的向量，接一个全连接层，输出“正向情感”或“负向情感”等标签。
第 4 段：Decoder-only 核心步骤（以 GPT 为例）
第一步：输入处理。输入是提示词（如“今天天气很好，”），模型将其 tokenize。第二步：掩码自注意力计算。在计算“很”这个词的注意力时，通过掩码矩阵强制它只能注意到“今天”、“天气”、“很”这三个词，而不能“偷看”未来生成的“，”或“适合”。这模拟了人类说话的因果顺序。第三步：自回归生成。模型基于已有序列计算出下一个 token 的概率分布（如“适合”概率最高），将其采样出来加入序列末尾，作为下一次计算的输入的一部分，如此循环，直到生成结束标记。
第 5 段：Encoder-Decoder 核心步骤（以 T5 翻译为例）
第一步：编码阶段。英文句子通过编码器，利用双向注意力充分理解，输出一系列上下文向量。第二步：解码阶段开始。解码器接收起始标记和编码器的输出。在解码器内部，进行掩码自注意力（只看已生成的译文）和交叉注意力（Cross-Attention）。第三步：交叉注意力与生成。解码器在每一步生成时，会通过交叉注意力机制去“查询”编码器输出的英文句子向量，从中提取最相关的语义信息，以指导生成准确的中文译文。例如，当生成“苹果”时，它会特别关注英文句子里的“apple”这个词向量。
关键知识点（10-15 条 bullet，每条都要具体）
- 架构分野：三种架构都属于 Seq2Seq，但 Encoder-only 没有自回归生成能力，Decoder-only 没有独立的编码器理解输入。
- 注意力是关键：区别三者的核心在于注意力机制：双向（Encoder-only）、掩码自注意力（Decoder-only）、混合（Encoder-Decoder）。
- BERT 代表理解：Encoder-only 的 BERT 使用双向注意力，通过“掩码语言模型”（MLM）和“下一句预测”（NSP）两个预训练任务学习语言理解，MLM 会遮盖 15% 的 token 让模型预测。
- GPT 代表生成：Decoder-only 的 GPT 系列使用掩码自注意力，训练目标是“预测下一个词”，完美契合自回归生成范式。
- T5 统一框架：Encoder-Decoder 的 T5 将所有 NLP 任务（分类、翻译、摘要）统一为“文本到文本”格式，如将情感分析任务转化为输入“句子: ... 情感:”，模型输出“正面”。
- 主流是 Decoder-only：当前主流的生成式大模型（GPT-3/4、Llama、DeepSeek、Qwen）均采用 Decoder-only 架构，因其在超大规模预训练下展现出强大的“涌现能力”和推理效率。
- 训练目标不同：Encoder-only 主要通过 MLM 等目标学习双向表示；Decoder-only 通过自回归语言模型（LM）目标学习生成；Encoder-Decoder 则同时包含编码和序列生成目标。
- 输出长度：Encoder-only 输出固定长度的向量序列；Decoder-only 输出长度不固定的生成序列；Encoder-Decoder 输出与输入不一定等长的新序列。
- 推理速度：Decoder-only 在生成时需逐步解码，单次推理速度受限；但其架构简单，并行训练效率高。
- BART 与 T5：BART 也是 Encoder-Decoder 架构的代表，其预训练方式是将文本“加噪”（如删除、打乱）后让模型复原，类似于“去噪自编码器”。
- 因果性与并行：Decoder-only 的掩码注意力确保了生成的因果性，但牺牲了训练时看到全部上下文的能力（相比于 Encoder-only）。
- 任务适配：选择架构应匹配任务：文本分类（情感、意图）选 Encoder-only；开放域问答、创意写作选 Decoder-only；机器翻译、长文档摘要选 Encoder-Decoder。
- Decoder-only 也能理解：虽然 Decoder-only 以生成著称，但通过“提示工程”（Prompt），它也能完成分类、抽取等理解任务，只是理论上可能不如专门设计的 Encoder-only 模型高效。
- 代表模型不唯一：BERT 有变体 RoBERTa（优化了预训练任务和数据规模），GPT 有后续的 InstructGPT/ChatGPT（通过 RLHF 对齐人类偏好）。
应用场景（3-5 个真实例子，每例都给“公司/项目 + 数据 + 解决了什么问题”）
- 场景 1：搜索引擎意图识别（Encoder-only）：Google 搜索利用基于 BERT 的模型理解用户查询的深层意图（如“苹果”是指水果还是公司），显著提升了搜索结果的相关性。据报道，BERT 集成后影响了约 10% 的英文搜索结果。
- 场景 2：智能客服与对话系统（Decoder-only）：OpenAI 的 ChatGPT、阿里的通义千问等产品，底层均是 GPT 系列或类似的 Decoder-only 大模型，用于实现多轮对话、问答和内容生成，日均处理数亿次请求。
- 场景 3：跨语言翻译与摘要（Encoder-Decoder）：Google 翻译、DeepL 等产品，在很长一段时间内采用基于 Transformer Encoder-Decoder 的模型（如 T5 的变体），用于高质量的机器翻译。T5 在多项翻译基准测试上达到了当时的最优水平。
- 场景 4：代码生成（Decoder-only）：GitHub Copilot 的核心代码补全模型（OpenAI Codex）是基于 GPT 系列微调的 Decoder-only 模型，它根据注释或上文代码生成后续代码，据报道，它能生成约 43% 的正确代码。
- 场景 5：内容审核与情感分析（Encoder-only）：大型互联网公司使用 BERT 类模型对海量用户评论、帖子进行情感分析（正面/负面）或违规内容识别，处理速度可达每秒数万条。
常见误区 / 踩坑（4-6 条，每条给“错在哪 + 为什么错 + 正确的是什么”）
- ❌ 误区 1：认为 Encoder-only 模型（如 BERT）也可以像 GPT 一样进行流畅的文本生成。
✅ 正解：Encoder-only 架构的预训练目标不是自回归生成，因此其生成能力很弱，且输出长度受输入固定。它专为理解任务设计，强行生成会导致重复、不连贯。 - ❌ 误区 2：认为 Decoder-only 架构（如 GPT）因为不能双向看上下文，所以理解能力一定比 Encoder-only 差。
✅ 正解：在超大规模数据（如万亿token）预训练下，Decoder-only 模型通过自回归目标也能学到强大的上下文理解能力，并能通过“提示”解决各种理解任务。事实表明，其在很多任务上已超越或持平专用理解模型。 - ❌ 误区 3：混淆“自注意力”和“双向注意力”。认为所有 Transformer 都用的是双向注意力。
✅ 正解：自注意力是计算机制，双向注意力是使用该机制时的一种选择（无掩码）。Encoder-only 用双向自注意力，Decoder-only 用掩码自注意力。 - ❌ 误区 4：认为 Encoder-Decoder 架构中的解码器只使用了交叉注意力。
✅ 正解：解码器内部包含两种注意力：1) 掩码自注意力，处理已生成的输出序列；2) 交叉注意力，连接编码器的输出。两者结合才能工作。 - ❌ 误区 5：认为三种架构是并行发展、互不相关的。
✅ 正解：它们都源于同一个原始 Transformer 架构，只是侧重不同组件。原始 Transformer 本身就是 Encoder-Decoder 架构。 - ❌ 误区 6：认为“下一个词预测”（Next Token Prediction）是所有 Transformer 的预训练目标。
✅ 正解：这是 Decoder-only 架构（自回归语言模型）的核心目标。Encoder-only 主要用掩码语言模型（MLM）等目标。
性能 / 复杂度（数据驱动）
- 时间复杂度：三种架构的自注意力计算复杂度均为 O(n²·d)，其中 n 是序列长度，d 是模型维度。对于超长文本，这会成为性能瓶颈。
- 空间复杂度：同样为 O(n²)，用于存储注意力权重矩阵。
- 与替代方案对比：
- 方案 A（Encoder-only, BERT类）：擅长精读，理解任务精度高，但生成能力差。适合序列长度 < 512 token 的理解任务。
- 方案 B（Decoder-only, GPT类）：擅长流畅生成，训练并行效率高，推理需逐步解码。通过“无限上下文”窗口技术（如稀疏注意力）正在突破长度限制，是当前通用AI的主流。
- 方案 C（Encoder-Decoder, T5类）：适合输入输出有强相关性的转换任务。但模型参数量是前两者之和，在通用场景下参数效率可能不如 Decoder-only。
- 临界点：当任务是明确的“输入→输出”序列转换（如翻译），且对输出质量要求极高时，Encoder-Decoder 仍具优势。对于通用智能体，Decoder-only 因其扩展性和涌现能力是绝对主流。
- 性能数字：以 GPT-3（175B参数）为例，其预训练消耗了约 3640 PetaFLOP/s-day 的计算量。在生成速度上，经过优化的 Decoder-only 模型（如 Llama）在单张 GPU 上每秒可生成数百个 token。
与相关概念的区别（至少 3 对，每对给“维度 + 各自优势 + 一句话总结怎么选”）
Encoder-only vs. Decoder-only：
- 维度 1（注意力）：Encoder-only 用双向注意力，能“同时看全文”；Decoder-only 用掩码注意力，只能“看前文”。
- 维度 2（核心能力）：Encoder-only 擅长精细化的文本理解与分类；Decoder-only 擅长流畅的、基于前文的序列生成与推理。
- 维度 3（适用场景）：情感分析、实体识别选 Encoder-only；对话机器人、代码生成、创意写作选 Decoder-only。
- 怎么选：如果你的任务输出是固定的标签或向量，选 Encoder-only；如果需要生成变长的、创造性的文本，选 Decoder-only。
Decoder-only vs. Encoder-Decoder：
- 维度 1（参数量）：Decoder-only 结构更简单，同等规模下参数更少；Encoder-Decoder 包含编码器和解码器，参数量通常翻倍。
- 维度 2（任务类型）：Decoder-only 是“通用生成器”，擅长处理各种提示；Encoder-Decoder 是“专用转换器”，擅长明确的序列到序列映射。
- 维度 3（训练目标）：Decoder-only 是“预测下一个词”；Encoder-Decoder 是“理解输入并生成输出”。
- 怎么选：大多数开放域、生成式任务（问答、写作）用 Decoder-only；机器翻译、文档摘要、语音识别等有明确输入输出对的任务，可考虑 Encoder-Decoder。
自注意力 vs. 交叉注意力：
- 维度 1（作用范围）：自注意力在单个序列内部计算元素间关系；交叉注意力用于计算两个不同序列之间的关系。
- 维度 2（使用位置）：自注意力在 Encoder 和 Decoder 内部都使用；交叉注意力只在 Encoder-Decoder 架构的 Decoder 中使用，用于连接编码器和解码器。
- 维度 3（类比：自注意力像是“小组内部讨论”；交叉注意力像是“向外部专家（编码器）咨询”。
- 怎么选：这不是选择问题，而是理解它们在不同架构中的组合应用。Decoder-only 只有自注意力，Encoder-Decoder 同时包含自注意力和交叉注意力。
进阶 / 面试加分项（2-3 条，超出基础的高阶理解）
- Decoder-only 成为主流的原因：除了架构简洁，更关键的是其自回归目标与海量无标注文本的天然契合（任何文本都是天然的训练数据），以及在 scaling law（规模化定律）下表现出更强的涌现能力。这使得投入算力能获得更智能、更通用的能力。
- 业界争议/未解问题：1）纯粹的 Decoder-only 架构在处理超长上下文（如整本书）时，二次方的注意力复杂度仍是挑战；2）是否有比自回归更好的序列建模范式（如非自回归生成、扩散模型）在效率和质量上取得突破。
- 一句话送给候选人：不要只记住三种架构的名称，要理解它们“如何看待上下文”——这决定了模型的“思维模式”是全局审视、因果推理还是双语对照，进而决定了它最擅长解决哪类问题。
面试如何回答
🟢 请简要说明 Transformer 模型的三种主要架构是什么？
回答要点：
Transformer 模型的三种主要架构是：Encoder-only、Decoder-only 和 Encoder-Decoder。Encoder-only 架构（如 BERT）只有编码器，使用双向注意力机制，专注于深度理解输入文本，适用于文本分类、情感分析等任务。Decoder-only 架构（如 GPT 系列）只有解码器，使用掩码自注意力机制，擅长基于前文进行自回归生成，是当前主流生成式大模型的基础。Encoder-Decoder 架构（如原始 Transformer、T5）同时包含编码器和解码器，编码器理解输入，解码器生成输出，并通过交叉注意力连接，擅长机器翻译、文本摘要等序列转换任务。
🟢 Encoder-only 架构的代表模型 BERT 是如何进行预训练的？
回答要点：
BERT 作为 Encoder-only 架构的代表，其预训练主要包含两个任务。第一个是“掩码语言模型”，具体做法是随机遮盖输入文本中约 15% 的 token，然后让模型根据上下文预测被遮盖的原始 token，这强迫模型理解每个词与上下文的关系。第二个任务是“下一句预测”，模型需要判断两个输入句子是否是原始文本中连续的句子，这帮助模型理解句子间的逻辑关系。这两个任务共同赋予了 BERT 强大的文本理解能力，使其成为情感分析、命名实体识别等任务的基石。
🟡 为什么说 Decoder-only 架构（如 GPT）是当前大语言模型的主流选择？
回答要点：
Decoder-only 架构成为主流主要有三个原因。第一，其核心目标“预测下一个词”与海量无标注文本数据天然匹配，任何文本序列都可以作为训练样本，这使得数据获取成本极低，模型规模得以快速扩展。第二，这种自回归范式模拟了人类生成语言的因果顺序，通过掩码注意力确保生成过程符合逻辑，在处理开放式生成、推理等复杂任务时表现出强大的“涌现能力”。第三，相较于 Encoder-Decoder 架构，Decoder-only 结构更简洁，同等参数规模下模型更轻量，在推理和部署上更具优势。以 GPT-3 为例，其 175B 参数的规模成功展示了少样本学习的强大能力，奠定了这一范式的统治地位。
🟡 在 Encoder-Decoder 架构（如 T5）中，解码器在生成每个词时如何利用输入信息？
回答要点：
在 Encoder-Decoder 架构中，解码器通过两种注意力机制协同工作来利用输入信息。首先，解码器内部使用掩码自注意力机制，以确保在生成当前位置的词时，只能看到已生成的输出序列，保持生成的因果性。其次，也是最关键的一点，解码器会使用交叉注意力机制。在这种机制下，解码器的当前状态会作为“查询”，去“查询”编码器输出的、代表完整输入语义的向量序列，从而提取出与当前生成最相关的输入信息。例如，在翻译任务中，当解码器要生成“苹果”这个词时，交叉注意力会帮助它重点关注编码器输出中“apple”对应的语义向量。这种设计使得解码器既能独立生成，又能深度参考输入信息。
🟡 给你一个情感分析任务（判断电影评论是正面还是负面），你会选择哪种架构的模型？为什么？
回答要点：
我会首选 Encoder-only 架构的模型，例如 BERT。原因在于，情感分析本质上是一个对输入文本进行深度理解并输出固定类别标签（正面/负面）的任务。Encoder-only 架构的核心优势正是“理解”，它使用双向注意力，能够让模型中的每个词都充分看到上下文所有词的信息，从而精准地捕捉如“非常棒”、“糟糕透了”等蕴含情感的微妙语义。相比之下，Decoder-only 架构虽然也能通过提示完成此任务，但其设计初衷是生成，用其做分类可能需要更多的提示工程，且理论效率上不一定比专为理解设计的 Encoder-only 模型更高。在实践中，BERT 等模型在情感分析基准测试上长期保持着极高的准确率。
🔴 自注意力机制的计算复杂度是 O(n²)，这在处理长文本时会带来什么问题？三种架构在解决这个问题上思路有何不同？
回答要点：
自注意力 O(n²) 的计算复杂度会导致模型在处理长文本时面临内存和计算时间的巨大挑战。例如，当文本长度 n 从 512 增加到 4096 时，计算量和内存占用会增长约 64 倍。三种架构对此的应对思路不同：Encoder-only 模型（如 BERT）通常直接设置最大长度限制（如 512），截断超长文本，这限制了其在长文档理解上的应用。Decoder-only 模型则通过技术创新来突破限制，例如引入稀疏注意力、线性注意力等近似方法，或设计如 Flash Attention 的高效计算实现，Llama 等模型的上下文窗口已扩展到 128K。Encoder-Decoder 模型则通过“分块-摘要”或层次化注意力等架构设计来处理长输入，例如先将长文档分块由编码器处理，再在解码阶段通过层次化注意力进行信息融合。这体现了不同架构在效率与能力上的不同权衡。
🔴 请对比 Encoder-only 和 Decoder-only 架构在训练目标和最终能力上的根本区别。
回答要点：
这两种架构的根本区别在于训练目标，这直接塑造了它们的核心能力。Encoder-only（如 BERT）的训练目标是“语言理解”，通过掩码语言模型让模型学会根据双向上下文恢复被破坏的信息，这类似于“完形填空”，迫使模型建立全局、深层的语义联系，因此它输出的嵌入向量富含理解信息，特别适合下游的分类、匹配任务。Decoder-only（如 GPT）的训练目标是“语言生成”，通过自回归语言模型让模型学习基于前文预测下一个词，这模拟了人类“说话”的因果过程。因此，它天然具备生成序列的能力，并且在大规模数据训练下，其通过生成过程所学到的内部表示也兼具了强大的理解与推理能力。简而言之，Encoder-only 是“精读理解专家”，Decoder-only 是“流畅说话者”，但在足够“聪明”后，“说话者”也能表现出不亚于“专家”的理解力。