Masked Language Model 和 Causal Language Model 有什么区别？

安逸Ai大约 16 分钟训练原理大模型100讲预训练

Masked Language Model 和 Causal Language Model 有什么区别？

一句话核心：MLM（遮蔽语言模型）双向预测缺失词，适合理解任务；CLM（因果语言模型）单向预测下一个词，适合生成任务。两者是预训练语言模型的两种核心范式，分别对应 BERT（编码器）和 GPT（解码器）架构。

核心概念（术语表）

Masked Language Model (MLM)：用 [MASK] 替换输入中 15% 的词，双向预测缺失词。用途：预训练理解型模型，如 BERT、RoBERTa。
Causal Language Model (CLM)：只基于前文预测下一个词，单向自回归生成。用途：文本生成任务，如 GPT 系列、LLaMA。
Self-Attention（自注意力）：计算序列内每对词之间的依赖关系。MLM 用双向注意力，CLM 用因果（单向）注意力。
Positional Encoding（位置编码）：为每个 token 添加位置信息，使模型理解词序。BERT 和 GPT 都使用，但 MLM 用双向上下文，CLM 只用前文。
Bidirectional Encoder（双向编码器）：MLM 特有的架构，能同时看到 [MASK] 前后的词。代表：BERT 的 Transformer Encoder。
Causal Decoder（因果解码器）：CLM 特有的解码器结构，预测下一个词时只能看到之前的词。代表：GPT 的 Transformer Decoder。
Next-Word Prediction（下一个词预测）：CLM 的训练目标，基于前文预测下一个 token。
Tokenization（分词）：将文本拆分为 token（词、子词或字符）。两种模型都需此步骤。

阅读全文

## 历史背景 / 来源

MLM 起源：2018 年 Google 的 Devlin 等人提出 BERT，同时引入 MLM 作为预训练目标。论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。
CLM 起源：GPT-1 于 2018 年由 OpenAI 提出，采用因果语言模型训练。GPT-2（2019）、GPT-3（2020）延续此范式。
核心突破：BERT 在 GLUE 基准上刷新 11 项记录，证明 MLM 预训练+微调范式优于传统方法。GPT 系列则展示了 scaling law 下的涌现能力。

工作原理 / 核心机制

整体思路（一句话）

MLM 通过双向上下文预测被遮蔽的词，理解语义；CLM 通过自回归方式基于前文生成下一个词，完成文本生成。

MLM 工作流程

第一步：数据预处理与 Mask 操作

输入：原始文本 "The weather is sunny today"
处理：随机替换 15% 的词为 [MASK] token（WordPiece 分词后）
输出："The weather is [MASK] today"（假设 sunny 被 mask）

第二步：双向嵌入生成

输入：每个 token 生成词嵌入 + 位置编码
处理：Transformer Encoder 计算双向自注意力，每个 [MASK] 位置的表示融合了前后文信息
输出：每个 [MASK] 位置得到上下文相关的向量表示

第三步：概率分布预测

输入：[MASK] 位置的向量表示
处理：全连接层 + Softmax，输出词表上每个词的概率
输出：P(sunny|[MASK]) = 0.92，P(cloudy) = 0.05，P(其他) = 0.03

CLM 工作流程

第一步：Tokenization（分词）

输入：原始文本 "The weather is"
处理：分词为 ["The", "weather", "is"]
输出：token IDs [464, 3290, 318]

第二步：因果注意力计算

输入：所有 token 的嵌入
处理：因果掩码（causal mask）确保每个位置只能看到之前的词
输出：每个位置的表示只包含前文信息

第三步：Next-Word Prediction（下一个词预测）

输入："The weather is"
处理：预测下一个词的概率分布
输出：P(sunny|[The, weather, is]) = 0.85
迭代：将预测结果加入输入，重复生成下一个词
最终输出："The weather is sunny today"

关键知识点

MLM 通常 mask 15% 的词：BERT 论文设定，mask 比例过高会丢失太多上下文，过低则训练信号不足。
CLM 是自回归生成：每个词的生成依赖之前所有词，训练和推理时计算方式一致。
BERT 是 Encoder-only：双向架构，能同时看到 [MASK] 左右两侧的词。
GPT 是 Decoder-only：单向架构，训练时用 teacher forcing，推理时自回归生成。
MLM 支持双向推理：给定完整句子填缺词，适合阅读理解、文本分类等理解任务。
CLM 支持文本生成：从起始 prompt 一直生成到 EOS token，适合对话、写作、代码生成。
位置编码的差异：MLM 和 CLM 都用位置编码，但 CLM 的因果掩码限制注意力范围。
BERT 预训练两个任务：MLM + Next Sentence Prediction (NSP)。GPT 只做 CLM。
RoBERTa 改进了 MLM：去掉 NSP，动态 mask，更大数据量和训练时间，性能超越 BERT。
GPT 系列 scaling：GPT-3 1750 亿参数，in-context learning 能力涌现。
LLaMA 的改进：Meta 开源的 LLaMA，用更少参数达到 GPT-3 水平，推动开源社区发展。
推理效率对比：CLM 自回归生成 O(n) 步，MLM 只需 O(1) 步（前向传播）。
训练数据利用效率：MLM 每个 token 都参与损失计算，CLM 只计算下一个词。
注意力复杂度：标准自注意力 O(n²)，FlashAttention 等优化将复杂度降至 O(n)。
两者的互补性：BERT（MLM）擅长理解，GPT（CLM）擅长生成，实际系统常组合使用。

应用场景

场景 1：Google 搜索用 BERT 理解查询意图，MLM 预训练的 BERT 替换了旧排序模型，提升了 10% 的搜索相关性准确率。
场景 2：OpenAI ChatGPT 用 GPT-3.5/4（CLM）实现多轮对话，1750 亿参数模型生成连贯长文本，支持代码编写、数学推理。
场景 3：GitHub Copilot 用 CLM 代码生成，在 VS Code 中实时补全代码，开发者效率提升约 55%（微软内部数据）。
场景 4：Facebook 翻译系统用 BERT（MLM）做 encoder，提升翻译质量，尤其在低资源语言对上表现突出。
场景 5：智能客服用 CLM 生成回复，MLM 做意图分类，两者协同：MLM 理解用户问题类型，CLM 生成具体回复。

常见误区 / 踩坑

❌ 误区 1：认为 MLM 生成的文本比 CLM 更准确
✅ 正解：MLM 不擅长生成，它的设计目标是"填词"而非"造句"。生成任务必须用 CLM。
❌ 误区 2：认为 CLM 训练比 MLM 简单
✅ 正解：CLM 需要自回归生成，训练时梯度不稳定（teacher forcing vs 自回归），推理时错误累积问题。
❌ 误区 3：认为 BERT 不能做生成
✅ 正解：BERT 可以通过 mask-predict 策略做生成（如 BERT4Seq2Seq），但效率低于 CLM，不适合大规模生成。
❌ 误区 4：混淆 mask 比例
✅ 正解：BERT 默认 15% mask（其中 80% 替换为 [MASK]，10% 随机替换，10% 不变）。这个比例经过消融实验确定。
❌ 误区 5：认为双向注意力一定优于单向
✅ 正解：对于生成任务，双向注意力会导致"信息泄露"（看到未来词），必须用因果掩码。
❌ 误区 6：忽视推理效率差异
✅ 正解：MLM 对整个句子只需一次前向传播，CLM 生成 n 个词需要 n 次前向传播，长文本生成成本高。

性能 / 复杂度

时间复杂度：
- MLM：O(n × d × h)，n=序列长度，d=层数，h=隐藏维度。一次前向传播。
- CLM 推理：O(n² × d × h)（生成 n 个词，每次 O(n) 注意力）。
- 适用边界：生成超过 50 个词时，CLM 推理时间显著长于 MLM。
空间复杂度：
- MLM：O(n × h) 保存激活值。
- CLM：额外需要保存 causal mask 和 past key-value 缓存。
- 适用边界：长序列（n>2048）时，CLM 显存需求约为 MLM 的 2-3 倍。
与替代方案对比：
- 方案 A：传统 RNN/LSTM，O(n × h) 时间，无法捕捉长距离依赖（梯度消失）。
- 方案 B：Transformer Encoder (MLM)，O(n²) 注意力，全局感受野，适合理解。
- 方案 C：Transformer Decoder (CLM)，O(n²) 注意力 + O(n) 步生成，适合生成。
- 临界点：任务类型决定选择，理解任务选 MLM，生成任务选 CLM。
性能数字：
- BERT-base：1.1 亿参数，GLUE 基准 82.1 分。
- GPT-3：1750 亿参数，in-context learning 在 100+ 任务上达到 SOTA。
- LLaMA-7B：用 7B 参数达到 GPT-3 水平，训练数据 1T tokens。

与相关概念的区别

vs LSTM/RNN：
- 维度 1（并行化）：LSTM 训练慢（时序展开），Transformer 可并行。
- 维度 2（长距离依赖）：LSTM 梯度消失，Transformer 全局注意力。
- 维度 3（适用）：LSTM 适合小数据，Transformer 适合大数据。
- 怎么选：小数据集（<10K）选 LSTM，大规模预训练选 Transformer。
vs Seq2Seq（Encoder-Decoder）：
- 维度 1（架构）：Seq2Seq 有 encoder 和 decoder 分离，MLM/CLM 只有 encoder 或 decoder。
- 维度 2（任务）：Seq2Seq 适合翻译（输入→输出），MLM/CLM 是预训练范式。
- 维度 3（代表模型）：T5 是 Encoder-Decoder 架构，可做 MLM 也可做 CLM-style 生成。
- 怎么选：翻译任务选 Seq2Seq，理解任务选 MLM，生成任务选 CLM。
vs Prefix LM（前缀语言模型）：
- 维度 1（注意力）：Prefix LM 对 prefix 部分用双向注意力，生成部分用因果注意力。
- 维度 2（灵活性）：Prefix LM 比 CLM 更灵活，可处理 prefix 理解+后续生成。
- 维度 3（代表）：UniLM、GLM 采用此架构。
- 怎么选：需要 prefix 理解的生成任务选 Prefix LM，纯生成选 CLM。

进阶 / 面试加分项

最新进展：ChatGPT 背后的 RLHF（人类反馈强化学习）将 CLM 与强化学习结合，通过 reward model 优化生成质量。LLaMA 2 进一步引入 RLHF，在有用性和安全性上显著提升。
业界争议/未解问题：
1. CLM 的 scaling law 是否会见顶？GPT-4 的架构细节未公开，社区猜测可能用了 mixture of experts (MoE)。
2. MLM 和 CLM 的统一：UL2、GLM 等模型试图用一个模型同时做 MLM 和 CLM，但效果尚未全面超越专用模型。
3. 效率优化：Linear Attention、State Space Models（如 Mamba）尝试将 O(n²) 复杂度降至 O(n)，可能颠覆现有架构。
一句话送给候选人：MLM 学"读"，CLM 学"写"，理解两者差异就像理解语文的阅读理解和作文——面试中考的是你能否根据任务选对模型，而不是死记硬背架构细节。

附录：代表性模型一览

模型	架构	预训练目标	参数规模	推出时间	推出机构
BERT	Encoder-only	MLM + NSP	340M (base) / 1.1B (large)	2018	Google
GPT-1	Decoder-only	CLM	117M	2018	OpenAI
GPT-2	Decoder-only	CLM	1.5B	2019	OpenAI
GPT-3	Decoder-only	CLM	175B	2020	OpenAI
RoBERTa	Encoder-only	MLM (动态)	355M	2019	Facebook
LLaMA	Decoder-only	CLM	7B-65B	2023	Meta
LLaMA 2	Decoder-only	CLM + RLHF	7B-70B	2023	Meta

核心对比速查表

维度	MLM (BERT)	CLM (GPT)
注意力方向	双向	单向（因果）
架构	Encoder	Decoder
训练目标	预测 [MASK]	预测下一个词
适合任务	理解（分类、NER、QA）	生成（对话、写作、代码）
推理次数	1 次前向传播	n 次前向传播
代表模型	BERT, RoBERTa, ELECTRA	GPT, LLaMA, PaLM
参数效率	较高（理解任务）	较低（生成需要更多参数）
上下文利用	全部可见	仅前文可见

MLM（遮蔽语言模型）用双向注意力预测句子中被 [MASK] 掉的词，适合理解任务；CLM（因果语言模型）用单向自回归方式基于前文预测下一个词，适合生成任务。两者核心区别在于：MLM "读" 完整句子填缺词，CLM "写" 从头造句。具体来说，BERT 用 MLM 预训练，预测被 mask 的 "sunny" 时能看到 "The weather is [MASK] today" 的完整上下文；而 GPT 用 CLM 预训练，预测 "sunny" 时只能看到 "The weather is"，看不到后面的 "today"。这种差异决定了 BERT 适合文本分类、问答等理解任务，GPT 适合对话、写作等生成任务。面试官想听到的是你能根据任务类型选择合适的模型，而不是死记硬背架构。