GPT、BERT、T5 的核心差异是什么？

安逸Ai2026/7/16大约 18 分钟大模型100讲基础篇

GPT、BERT、T5 的核心差异是什么？

一句话核心：GPT、BERT、T5 是基于同一 Transformer 内核的三种不同架构范式，它们的根本区别在于使用 Transformer 的哪部分结构、注意力机制的方向以及预训练目标，这直接决定了它们在理解与生成任务上的不同表现，是 NLP 面试中必考的“架构选择”基础题。

核心概念（术语表）

Transformer：一种基于自注意力机制的序列模型架构，包含编码器（Encoder）和解码器（Decoder）。
Encoder-only：仅使用 Transformer 的编码器部分，擅长深度理解输入序列（双向注意力）。
Decoder-only：仅使用 Transformer 的解码器部分，擅长从左到右生成序列（单向掩码注意力）。
Encoder-Decoder：同时使用编码器和解码器，擅长将一个序列转换为另一个序列（如翻译、摘要）。
自回归语言模型：从左到右逐个预测下一个词（token）的模型，GPT 是其代表。
掩码语言模型：随机掩盖输入中的部分词，并让模型去预测这些被掩盖的词，BERT 是其代表。
文本到文本框架：将所有 NLP 任务统一建模为“输入文本 → 输出文本”的格式，T5 是其代表。

阅读全文

历史背景 / 来源

BERT：由 Google 于 2018 年在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中提出，旨在通过双向上下文表示解决单向模型的语义理解局限。
GPT：由 OpenAI 提出。GPT-1（2018）奠定了“预训练+微调”范式；GPT-2（2019）展示了零样本能力；GPT-3（2020）以 1750 亿参数和少样本学习（few-shot）震撼业界；后续演进催生了 ChatGPT。
T5：由 Google 于 2019 年在论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》中提出，核心思想是将所有文本任务统一成“文本到文本”格式，使用 Encoder-Decoder 架构，并系统研究了预训练策略。

工作原理 / 核心机制（详细讲解）

整体思路：三者均以 Transformer 为核心，但通过组合不同的模块并设计不同的预训练任务，塑造了不同的能力倾向：BERT 擅长“理解”，GPT 擅长“生成”，T5 擅长“转换”。
输入/输出与结构：
1. BERT（Encoder-only）：输入为带有掩码标记（[MASK]）的句子，输出为每个位置对应的上下文语义向量（用于填空或分类）。
2. GPT（Decoder-only）：输入为一个文本序列（或上文），输出为下一个词（token）的概率分布（用于续写或对话）。
3. T5（Encoder-Decoder）：输入为带破坏的原始文本（如“Thank you <X> me to your party <Y> week”），输出为重建后的完整文本（“Thank you for inviting me to your party last week”）。
核心步骤详解（以预训练为例）：
- BERT 的预训练：
  1. 第一步（输入构造）：随机选取语料中 15% 的 token 进行破坏。
  2. 第二步（破坏策略）：对于被选中的 token，80% 替换为 [MASK]，10% 替换为随机词，10% 保持不变。
  3. 第三步（预测目标）：模型需根据双向上下文，预测出被破坏位置原来的 token（掩码语言模型任务）。
  4. 第四步（辅助目标）：同时训练一个二分类任务，判断句子 B 是否是句子 A 的下一句（NSP 任务）。
- GPT 的预训练：
  1. 第一步（输入构造）：将文本序列输入模型。
  2. 第二步（注意力约束）：解码器中的自注意力使用掩码，确保每个位置只能看到它之前的 token（单向）。
  3. 第三步（预测目标）：模型在每个位置预测下一个 token（自回归语言模型任务）。
- T5 的预训练：
  1. 第一步（输入构造）：对输入文本进行“破坏”（Corrupting），例如随机选取文本中 15% 的连续片段（span），并用一个特殊的哨兵标记（<X>）替换。
  2. 第二步（破坏策略）：采用“小段替换”策略，被破坏的文本长度通常为 3 个 token 左右，破坏百分比为 15%。
  3. 第三步（预测目标）：模型的输出需要将这些哨兵标记替换为原始被破坏的内容，从而重建整个文本（文本重建任务）。

关键知识点（15 条 bullet，每条都要具体）

结构差异：BERT 用 Encoder，GPT 用 Decoder，T5 用 Encoder-Decoder。
注意力方向：BERT 可双向看全文，GPT 只能看前文（左到右），T5 编码器双向、解码器单向。
预训练目标：BERT 是“完形填空”（MLM），GPT 是“续写下一个词”（CLM），T5 是“破坏与重建”。
任务形式：BERT 输出每个 token 的向量（用于分类/抽取），GPT 输出下一个 token（用于生成），T5 输出完整目标文本。
模型规模代表：BERT-base 有 12 层、110M 参数；GPT-1 参数量与之相当（1.17 亿）。
模型规模飞跃：GPT-2 达到 15 亿参数，GPT-3 跃升至 1750 亿参数，训练数据达 45TB。
T5 的具体策略：采用 BERT-style 预训练法、小段替换破坏策略、15% 破坏比、破坏片段长度为 3。
BERT 的破坏细节：15% 被选中的 token 中，80% 替换为 [MASK]，10% 随机替换，10% 保留原词。
应用场景分化：BERT 擅长分类、匹配、抽取；GPT 擅长对话、写作、代码生成；T5 擅长翻译、摘要、问答转换。
核心架构选择根源：使用 Encoder-only 适合理解任务（双向语义），Decoder-only 适合生成任务（单向连贯）。
T5 的“统一性”：所有任务（翻译、摘要等）都转化为“输入文本 + 任务前缀 → 输出文本”的统一格式。
ChatGPT 的核心：基于 GPT 架构，但通过 RLHF（人类反馈强化学习）对齐了人类意图，包含监督微调（SFT）、奖励模型（RM）、PPO 优化三个阶段。
GPT 的少样本学习：GPT-3 证明，在不微调的情况下，仅通过提供少量示例（few-shot）或任务描述（zero-shot），大模型也能执行新任务。
参数效率：BERT 和 GPT-1 参数规模相近（~1.1 亿），但架构选择导致能力迥异。
训练数据量级：GPT-3 使用了 45TB 的文本数据进行预训练，这是其强大泛化能力的基础。

应用场景（3-5 个真实例子）

场景 1：Google 搜索。利用 BERT 的双向理解能力，对搜索查询和网页内容进行更精准的语义匹配，提升了长尾搜索的准确率。
场景 2：OpenAI 的 ChatGPT。作为基于 GPT 架构（如 GPT-3.5/GPT-4）的对话产品，通过 RLHF 对齐人类偏好，服务于全球上亿用户，用于问答、创作、编程等。
场景 3：自动摘要与翻译。T5 的 Encoder-Decoder 架构天然适合这类序列到序列的转换任务，被用于构建文摘生成、跨语言翻译等模型。
场景 4：代码生成（如 GitHub Copilot）。基于 GPT 类模型，根据代码上下文或自然语言注释生成完整的代码片段。

常见误区 / 踩坑

❌ 误区 1：BERT 也能做很好的生成任务。
✅ 正解：BERT 的架构（Encoder-only）和预训练目标（MLM）决定了它更擅长理解而非生成。生成流畅连贯的文本需要自回归的 Decoder 结构。
❌ 误区 2：T5 和 GPT 是同级别的不同模型。
✅ 正解：T5 代表 Encoder-Decoder 架构范式，而 GPT 是 Decoder-only 范式的代表。后续的很多大模型（如 LLaMA）都属于 GPT 这一架构家族。
❌ 误区 3：GPT 模型没有用到 Transformer 的编码器部分。
✅ 正解：严格来说，GPT 使用的是 Transformer 解码器的一部分（自注意力层+前馈网络），但去除了其中用于关注编码器输出的交叉注意力层，形成了纯解码器结构。
❌ 误区 4：模型参数越多，在所有任务上都越好。
✅ 正解：GPT-3 证明了参数量对少样本学习的巨大提升，但巨大的参数量也带来了推理成本高昂、难以微调等问题，且在某些需要精确理解的特定任务上，经过充分微调的小模型可能效果更优。

性能 / 复杂度（数据驱动）

推理复杂度：对于相同序列长度 n，Decoder-only (GPT) 和 Encoder-only (BERT) 的自注意力层计算复杂度均为 O(n²)。但 GPT 的生成是逐 token 的，生成 m 个 token 的总复杂度约为 O(m * n²)；而 BERT 处理一个固定长度输入是单次前向传播 O(n²)。
与替代方案对比：
- 方案 A (BERT)：Encoder-only，时间/空间复杂度 O(n²)，擅长语义理解，推理为单次。
- 方案 B (GPT)：Decoder-only，时间/空间复杂度 O(m * n²) (生成)，擅长序列生成，但生成慢。
- 方案 C (T5)：Encoder-Decoder，复杂度为 O(n_e² + m * n_d²)，兼顾理解与生成，但参数量通常更大。
性能数字：GPT-3 有 1750 亿参数，训练数据 45TB；BERT-base 110M 参数；GPT-2 最大版本 15 亿参数。

与相关概念的区别

vs BERT vs GPT：
- 架构维度：BERT 是 Encoder-only，GPT 是 Decoder-only。
- 注意力维度：BERT 是双向注意力（能看全部），GPT 是单向掩码注意力（只能看前文）。
- 任务维度：BERT 适合理解类（分类、匹配），GPT 适合生成类（对话、续写）。
- 怎么选：需要深度理解输入选 BERT，需要创作生成选 GPT。
vs T5 vs BART：
- 预训练任务维度：T5 采用 Span Corruption（破坏一段并重建），BART 采用多种破坏（删除、替换、打乱）后重建。
- 框架维度：两者都是 Encoder-Decoder 架构，但 T5 强调“文本到文本”统一建模。
- 怎么选：T5 的统一框架更灵活，BART 在某些生成任务上表现优异，可根据具体任务和实验数据选择。
vs 编码器-解码器 vs 解码器-only：
- 效率维度：编码器-解码器（如 T5）对输入的理解更充分，但参数更多；解码器-only（如 GPT）结构更简单，在海量数据下可通过增大规模涌现能力。
- 适用任务维度：编码器-解码器天生适合输入输出结构不同的任务（如翻译）；解码器-only 适合续写类任务。

进阶 / 面试加分项

最新进展与趋势：当前业界最强大的模型（如 GPT-4、Claude、PaLM 等）普遍采用 Decoder-only 架构，并将其规模推到万亿参数级别。同时，也有研究（如 Flan-T5, UL2）在持续探索 Encoder-Decoder 架构的潜力，证明其在某些任务上仍具优势。
业界争议/未解问题：一个核心争议是，为什么看似更简单（没有编码器）的 Decoder-only 架构，能在通用能力上超越结构更复杂的 Encoder-Decoder 架构？ 可能的解释包括：Decoder-only 的自回归目标与生成任务更契合，在超大规模下能更好地记忆世界知识，以及训练和推理的工程优化更成熟。
一句话送给候选人：“架构决定能力边界，数据与规模决定能力上限。理解 GPT、BERT、T5 的差异，不是为了背诵历史，而是为了在面对新模型时，能快速判断它‘是哪一路的’以及‘能做什么’。”

这是一个关于模型架构的基础问题。GPT、BERT、T5 代表了三种不同的 Transformer 架构范式。首先，BERT 使用了 Transformer 的编码器（Encoder）部分，这使其能够通过双向注意力机制同时看到上下文的所有信息，擅长理解。其次，GPT 使用了 Transformer 的解码器（Decoder）部分（更准确地说是解码器中的自注意力和前馈网络，但去除了与编码器的交叉注意力），这使其只能看到当前位置之前的信息，非常适合从左到右生成文本。最后，T5 使用了完整的 Transformer 编码器-解码器（Encoder-Decoder）结构，编码器用于深度理解输入，解码器用于生成输出，这种结构天然适合序列到序列的转换任务，如翻译和摘要。所以，记住这个核心区别：BERT用编码器，GPT用解码器，T5用编解码器。