预训练、微调、指令微调分别是什么？

安逸Ai大约 20 分钟微调与对齐大模型100讲RLHF

预训练、微调、指令微调分别是什么？ - 一句话定位

这是大模型从"通才"到"专才"、从"词语接龙机器"到"业务可用 AI"的完整训练三段式——预训练学知识、指令微调学对话、领域微调学业务。

核心概念（术语表）

预训练（Pretrain）：用海量无标注文本（Wiki、新闻、GitHub、论文等数千亿至万亿 token）训练模型，目标是学会"词语接龙"。一次性投入大、产出基础模型（Base Model），无监督、自监督。
监督微调（Supervised Fine-Tuning, SFT）：在预训练基础模型上，用"指令-回答"标注数据继续训练，让模型学会听懂人话、对齐聊天格式。是基座模型（Base → Chat）的关键一步。
指令微调（Instruction Fine-Tuning, IFT）：SFT 在概念上的别称，强调"输入是一段指令、输出是期望回答"的数据组织方式，能大幅提升模型的零样本能力。
全参数微调（Full Fine-Tuning, FFT）：更新模型的所有层和权重，资源消耗极大（7B 模型需 100GB+ 显存），但性能上限高。
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）：冻结原模型绝大部分参数，只训练极少量新增参数（LoRA、QLoRA、Adapter、Prefix Tuning、P-Tuning 等），7B 模型只需 15GB 左右显存。
RLHF（Reinforcement Learning from Human Feedback）：用人类偏好数据训练奖励模型（Reward Model），再以强化学习调整策略，使模型回答"更像人话"。属于 SFT 后的可选对齐步骤。
领域微调（Domain Fine-Tuning）：在 SFT/RLHF 完成后，用特定行业数据（医疗、法律、金融等）继续训练，让通用大模型成为业务专家。

阅读全文

## 历史背景 / 来源

预训练范式起源于 2018 年 BERT 和 GPT 系列，借助 Transformer 自监督学习开启"大数据+大算力"路线；2020 年 GPT-3 把参数推到 1750 亿，确立了"预训练+下游任务微调"为 NLP 主流范式。
2022 年 ChatGPT 引爆 RLHF，2023 年 LoRA 论文让"低成本微调"进入大众视野，再到 2024 年 QLoRA 把 65B 模型微调塞进消费级显卡，"预训练 → 指令微调 → 领域微调"的三段式成为行业标准流水线。

工作原理 / 核心机制（详细讲解）

LLM 的整体训练流水线分为四步：预训练 → 有监督微调（SFT/指令微调） → 奖励建模（RM） → 强化学习（RLHF）。

第 1 段：预训练（Pretrain）
输入：来自互联网网页、维基百科、书籍、GitHub、论文、问答网站的数千亿到数万亿 token 原始文本。处理：用 Transformer 架构做自监督学习，主流任务有 MLM（掩码语言建模，随机遮盖 15% 词汇让模型预测）和下一句预测（NSP）。输出：基础模型（Base Model），掌握语言统计规律和世界知识，但不会和人聊天，只会"词语接龙"。例如输入"秦始皇"，模型会接"是中国的第一位皇帝"。

第 2 段：有监督微调 / 指令微调（SFT / IFT）
输入：人工编写的"指令-回答"标注数据，每条形如 {instruction: "翻译成英文", input: "你好", output: "Hello"}。处理：用交叉熵损失对整个回答序列做监督学习，学习率比预训练低 1-2 个数量级（如 2e-5），通常训练 2-3 个 epoch。输出：能听懂指令、遵循格式的对话模型（SFT Model）。

第 3 段：奖励建模（Reward Modeling）
输入：同一个 prompt 对应模型生成的 4 个不同回答，由人类标注员按质量排序。处理：训练一个打分模型（RM），让"好回答 > 坏回答"的概率差值最大化（Bradley-Terry 损失）。输出：奖励模型，能对任意回答打一个标量分数。

第 4 段：强化学习（RLHF，用 PPO 算法）
输入：用户真实 prompt + RM 的打分信号。处理：以 SFT 模型为初始策略，用 PPO 算法最大化 RM 给出的奖励得分，同时用一个 KL 散度项约束不让模型"跑偏"（避免奖励黑客）。输出：最终的 Chat Model。此阶段通常需要数十块 GPU、数天即可完成，相对预训练消耗小一个量级。

关键知识点（事实 + 数字 + 例子）

预训练目标是"无监督词语接龙"，用万亿级 token 训练，不依赖人工标注。
SFT 的本质是"用对话模板格式教模型什么时候停"，从"接龙机器"变"对话助手"。
指令微调 (IFT) ≠ SFT：指令微调强调"任务描述驱动"，SFT 强调"有监督信号"，实际两者常重叠使用。
RLHF 不是必须的——它更多提升"礼貌性"而非"智力"，且样本收集昂贵、存在反馈偏差和多样性损失。
微调（Fine-Tuning）特指应用层操作：在已有基座上用业务数据做最后一步权重调整。
通用大模型"不够专"是微调存在的根本原因——医疗、法律、金融等领域不微调直接用会答非所问。
预训练语言模型 + 下游任务微调 = NLP 主流范式（已取代早期"为每个任务从零训练模型"）。
全参数微调 7B 模型需约 100GB+ 显存（传统），用 LOMO 优化器可压到 15GB。
LoRA 通过低秩矩阵 A (d×r)、B (r×d) 近似权重增量，r 通常 4-64，新增参数量低于原模型的 1%。
65B LLaMA 全参数微调需多块 A100；QLoRA 可在单张 24GB 消费级显卡上完成。
PEFT 方法已超 7 种主流：LoRA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning、P-Tuning v2。
微调相比 RAG：微调是把"知识烧进参数"（永久）；RAG 是"查询时外挂检索"（实时）。
VisualGLM 经医学影像微调后，可从通用多模态变身"医学影像判别助手"。
"预训练 + SFT + RLHF"三段式在 2025 年正被 RLVR（可验证奖励强化学习）冲击，DeepSeek-R1 是代表。

应用场景（真实例子）

ChatGPT / Claude / 通义千问 / DeepSeek：都走"预训练 → SFT → RLHF"流水线，面向 C 端问答、写作、编程、PPT 生成，是微调技术的最大受益者。
VisualGLM 医疗影像：通用多模态模型通过医学影像数据集微调，把判别准确率从通用水平提升到专业医生可用水平。
金融领域问答系统：在 LLaMA / Qwen 基座上用 LoRA 微调金融研报、财报问答对，7B 模型单张 A100 即可运行，成为行业"私域模型"的标配。
法律合同审查：用 FFT 或 PEFT 在 65B 模型上微调法律条文数据，让模型能识别合同条款风险并给出修改建议，替代传统 NLP 流水线。
企业知识库助手：用 QLoRA 对 70B 模型在企业内部 SOP 文档上微调，配合 RAG 实现公司专属的智能客服。

常见误区 / 踩坑

❌ 误区 1：很多人以为"微调 = 训练一个新模型"
✅ 正解：微调是基于已有预训练模型做小范围权重调整，原模型 99% 知识被保留。
❌ 误区 2：认为"数据越多微调效果越好"
✅ 正解：FFT 对数据质量极敏感，垃圾数据微调会直接学坏；需要在与预训练分布相近的高质量数据上训练。
❌ 误区 3：把"指令微调"等同于"领域微调"
✅ 正解：指令微调解决"听懂人话、遵循格式"，仍属于基座训练范畴；领域微调是业务方向的最后一公里（典型场景如医疗、法律）。
❌ 误区 4：认为 RLHF 提升模型智力
✅ 正解：RLHF 难提升"智力"，主要提升"礼貌 / 偏好对齐"，且样本贵、存在多样性损失。
❌ 误区 5：以为 LoRA 微调可以替代全场景需求
✅ 正解：LoRA 在与预训练目标差异大的任务（如跨模态、复杂科学推理）性能仍逊于 FFT，需按场景选方法。
❌ 误区 6：PEFT 完全不会灾难性遗忘
✅ 正解：极端情况下仍可能遗忘，但比 FFT 好得多——这是 PEFT 的核心优势而非绝对保证。

性能 / 复杂度（数据驱动）

预训练算力：O(N²) 自注意力 + 数千亿 token，GPT-3 训练用约 3640 PetaFLOP-day，需上千张 A100 跑数月。
SFT 算力：相对预训练低 2-3 个数量级，7B 模型单张 A100 几小时到几天即可。
RLHF 算力：通常仅需数十块 GPU，数天完成。
替代方案对比：
- FFT（全参数微调）：显存 O(d² × L)，7B 需 ~100GB，仅适合有 8 卡以上 A100 集群的场景。
- LoRA：可训练参数量 O(r × d × L)，r=8 时仅训练原模型 0.1%-1% 参数，7B 模型 15GB 显存即可。
- QLoRA：4-bit 量化基础模型 + LoRA，65B 模型 24GB 单卡可跑，是消费级显卡微调的临界点方案。
临界点：参数量 < 13B 时 LoRA 性价比最高；13B-70B 时 QLoRA 优势明显；>70B 仍以 FFT 为主。

与相关概念的区别（至少 3 对）

vs RAG（检索增强生成）：
- 知识更新：RAG 实时检索新文档，微调知识固化在参数里更新慢。
- 显存/部署：RAG 需向量数据库 + Embedding 服务，微调只需模型权重文件。
- 适用：RAG 适合"知识频繁更新且答案依赖检索"（客服）；微调适合"风格/格式/能力深度定制"（写作助手）。
- 怎么选：能用 RAG 解决的别动微调；只有风格、输出格式、专业推理才用微调。
vs Prompt Engineering（提示工程）：
- 改动位置：Prompt 在输入侧改不改模型权重，微调直接改权重。
- 成本：Prompt 零成本但受上下文窗口限制；微调成本高但永久生效。
- 适用：Prompt 适合少量任务快速试错；微调适合需要规模化部署的统一风格。
vs Continued Pre-Training（继续预训练）：
- 数据：继续预训练用大量无标注领域文本；SFT 用少量高质量"指令-回答"对。
- 目的：继续预训练补行业知识广度；SFT 教模型输出格式与对话能力。
- 怎么选：行业语料极少→先继续预训练；已有 1 万 + 标注对话对→直接 SFT。
vs Distillation（知识蒸馏）：
- 参数量：蒸馏把大模型能力压到小模型；微调保留原规模只调整方向。
- 适用：蒸馏适合"小模型部署、成本敏感"；微调适合"原模型能力增强、定向优化"。

进阶 / 面试加分项

2025 年最新趋势：传统"预训练 + SFT + RLHF"三段式正被 RLVR（可验证奖励强化学习，代表作 DeepSeek-R1）改写——用代码执行结果、数学答案等"可验证信号"替代昂贵的人类反馈，把对齐成本降到 1/10 以下。
业界争议：LLM-as-a-Judge 类方法（如"让 GPT-4 当评委"）已被证明在某些指标上超过专门训练的奖励模型，这意味着奖励建模阶段可能被"从预训练知识里抽奖励"的方法取代，未来流水线可能简化为"预训练 + SFT + RLVR"。
金句送给候选人：「预训练是大海中游泳，SFT 是学游泳姿势，RLHF/RLVR 是学按裁判标准得分——三件事不能互相替代。」

知识密度补强：流程对比表

维度	预训练	指令微调 (SFT/IFT)	领域微调 (Fine-Tuning)
数据量	数万亿 token	1 万 - 100 万条	数千 - 数十万条
数据形式	无标注 raw text	指令-回答对	业务问答对
学习率	1e-4 ~ 6e-4	1e-5 ~ 5e-5	1e-5 ~ 2e-5
显存需求	数千张 A100	单卡到 8 卡	单卡到 8 卡
训练时长	数周到数月	数小时到数天	数小时到数天
输出	Base Model	Chat Model	垂直领域专家模型
是否必须	必须	通常必须	按需

面试如何回答

🟢 请用一句话分别说明预训练、微调、指令微调是什么？它们之间的关系是怎样的？

回答要点：

第一句定义：预训练是大模型用海量无标注文本学会"词语接龙"、打下语言基础；指令微调（SFT）是基座模型用"指令-回答"数据学会"听懂人话、输出对话"；领域微调是在 SFT 基础上用垂直行业数据把模型变成业务专家。

三段关系：完整流水线是"预训练 → 指令微调 → 领域微调"，三个阶段数据规模递减（万亿 token → 百万条 → 十万条），学习率递减（1e-4 → 1e-5 → 5e-6），改动范围也可以递减（全参数→部分参数）。

具体例子：ChatGPT 三段都做：先用万亿 token 预训练出 GPT-3 Base，再用数十万条人工标注对话做 SFT 变成 ChatGPT，再用 RLHF 做对齐让回答更礼貌。

金句总结：预训练学"知识"，指令微调学"格式"，领域微调学"业务"。

加分项：面试时可以补一句"RLHF/RLVR 是 SFT 之后的对齐步骤，不算独立阶段"，展现体系性理解。

🟢 为什么不能跳过预训练直接微调？或者说预训练到底给模型带来了什么？

回答要点：

第一句定义：预训练赋予了模型两件事——"语言统计规律"和"世界知识"，这两件事如果跳过，需要从零用有标注数据学，工程上完全不可行。

三点展开：(1) 数据不可行：GPT-3 用约 3000 亿 token 训练，相当于人类高质量阅读量的数万倍，没有这种规模的有标注数据；(2) 算力不可行：预训练 GPT-3 用了约 3640 PetaFLOP-day、上千张 A100 跑数月，但只要做一次就能产出基础模型；(3) 效果不可行：从零训练的小模型在 OOD 上几乎不可用，预训练能让模型具备"零样本学习能力"。

场景对比：跳过预训练直接微调相当于"让一个不识字的人学写作"；正常流程相当于"让读完博士的人学专业写作"。

金句总结：预训练是不可跳过的"通识教育"，微调是"专业技能培训"。

加分项：可以提一句"视觉模型同样需要预训练（如 ImageNet），不是 NLP 独有"。

🟡 LoRA 是什么？为什么微调 7B 模型用 LoRA 只需 15GB 显存？

回答要点：

第一句定义：LoRA（Low-Rank Adaptation）冻结预训练权重 W，仅训练两个低秩矩阵 A（d×r）和 B（r×d）的乘积 BA 作为增量，新权重 = W + BA，其中 r 通常取 4-64。

三段原理：(1) 数学基础：Transformer 权重更新 ΔW 是"低秩+稀疏"的，研究发现 d×d 的完整 ΔW 可用远小于 d 的秩 r 近似表达；(2) 参数对比：7B 模型有约 70 亿参数，LoRA 增量通常只有几百万到几千万，不到原模型 0.1%；(3) 显存收益：优化器状态（如 AdamW 存一阶二阶动量）和梯度都只需为这小部分新增参数存储，显存从全量的 ~100GB 降到 15GB 左右。

具体例子：用 LoRA 微调 LLaMA-7B 调 r=8，可训练参数量约 420 万，比全量微调省 99.4% 参数，单张 RTX 4090 即可跑。

金句总结：LoRA 用"小改动撬动大模型"——只动 1% 的参数，得到 95% 的效果。

加分项：可以说"推理时可把 BA 合并回 W，零额外延迟"，体现工程理解。

🟡 RLHF 和 SFT 到底有什么本质区别？为什么说 RLHF 难提升模型"智力"？

回答要点：

第一句定义：SFT 用"标准答案"做监督学习，最大化正确回答的概率；RLHF 用"人类偏好排序"训练奖励模型，再用强化学习（PPO）最大化这个奖励。

三段区别：(1) 训练信号不同：SFT 是"有标准答案的模仿"，RLHF 是"有好坏排序的对齐"——SFT 教"怎么答"，RLHF 教"哪种答法更好"；(2) 目标不同：SFT 提升任务完成度（如翻译准确、回答正确），RLHF 提升人类偏好度（如礼貌、安全、风格）；(3) 代价不同：SFT 数据便宜（人工写答案），RLHF 数据昂贵（人类给 N 个回答两两排序）。

为什么难提升智力：智力提升需要"新知识或新推理能力"，而 RLHF 只在已有能力分布内做"偏好选择"——它能让模型选择"更礼貌但正确"的回答，但不能让它"学会新知识"或"做出更难的推理"。

场景对比：SFT 像"老师教标准解法"，RLHF 像"评委给表现打分"——评委不能让选手解出难题，但能让选手的回答更得体。

金句总结：SFT 是教师，RLHF 是评委；评委很重要，但不能替代教师。

加分项：可以补一句"2025 年的 RLVR（DeepSeek-R1）用可验证奖励替代人类偏好，对齐成本更低，且部分指标超过 RLHF"。

🟡 全参数微调 (FFT)、LoRA、QLoRA 分别适合什么场景？怎么选？

回答要点：

第一句定义：三者是同一目标"领域适配"的不同实现，差异在于"动多少参数"和"精度如何"。

三段选择逻辑：(1) FFT 适用：模型 ≤ 7B、有 8 卡以上 A100 集群、任务与预训练目标差异大（如跨模态、复杂科学推理）、对性能上限要求极致的场景；(2) LoRA 适用：模型 7B-13B、单卡到 4 卡 A100、任务与预训练相近（QA、风格转换）、需要快速迭代的场景，可训练参数 < 1%；(3) QLoRA 适用：模型 13B-70B、仅有消费级显卡（如单张 RTX 4090 24GB）、想在本地微调大模型且接受小幅精度损失的场景。

具体数字：65B LLaMA 用 FFT 需多张 A100（80GB）；用 QLoRA 只需 1 张 RTX 4090（24GB）；7B 模型用 LoRA 仅需约 15GB 显存。

场景对比：创业公司从 0 做垂直模型→ QLoRA 起步；大厂 7B 模型做精调 → LoRA；科研机构做极限性能 → FFT。

金句总结：参数规模决定下限，任务差异决定上限——按预算和性能要求决定技术选型。

加分项：可以提"三者不互斥，实战中常先用 QLoRA 验证可行性，再升级到 LoRA / FFT 做最终精调"。

🟡 你负责为一家医院做医学问答大模型，你会选微调还是 RAG？为什么？

回答要点：

第一句定义：这个问题没有标准答案，但工业上通常是"微调 + RAG"组合，单选任一项都不够。

三段理由：(1) RAG 必须用：医学知识更新极快（新论文、新药、新指南），医疗数据隐私性强、不能全部进训练数据——RAG 解决"知识时效性"和"数据隔离"；(2) 微调也要做：通用模型不懂医学术语、看不懂检查报告、不会按指南结构回答——微调解决"专业风格"和"输出格式"；(3) 典型组合流程：基座模型 → 医学语料继续预训练 → SFT（医学指令数据） → LoRA 微调 → 部署时配 RAG 检索最新指南。

具体场景：梅奥诊所的医疗 AI 助手就是"LLM + 医学知识图谱 + RAG"架构，微调部分主要学习"医学问答的格式和推理逻辑"。

金句总结：RAG 是"给模型发参考书"，微调是"让模型学医学思维"——医生既需要查资料，也需要专业素养。

加分项：可以提"医疗还要过合规——模型权重、医疗数据、推理日志都可能受 HIPAA 监管，私有化部署 + 数据脱敏同样关键"。

🔴 数据量小时，全参数微调 (FFT) 为什么反而不如 LoRA？怎么从原理上解释？

回答要点：

第一句定义：这是因为 FFT 有 100% 参数需要更新，而 LoRA 只更新不到 1%，在小数据场景下 FFT 会"过拟合灾难性遗忘"。

三段原理：(1) 过拟合角度：7B 模型有 70 亿参数，5000 条样本每条只分到 14 万参数，根本不够学——FFT 会强行拟合噪声，丢掉预训练知识；(2) 灾难性遗忘角度：FFT 在小数据上反复梯度更新会把"通才能力"覆盖为"专才能力"，导致在原始领域和 OOD 任务上能力下降；(3) 先验保护角度：LoRA 冻结了 99% 预训练权重，相当于一个强先验——只在 W 旁边加一个小 ΔW，自然不容易把模型"带偏"。

具体数字：实验上 < 1 万条高质量样本时，LoRA 几乎在所有任务上超过 FFT；超过 10 万条后差距收窄，超过 100 万条后 FFT 才反超。

场景对比：FFT 像"让博士重学小学课本然后忘掉博士知识"；LoRA 像"让博士在小学课本旁批注"——显然后者更安全。

金句总结：数据少时，参数量是负担；数据多时，参数量才是武器——LoRA 用"低自由度"换"低过拟合风险"。

加分项：可以提"实践中还会配早停 (Early Stopping)、权重约束 (KL penalty) 来缓解过拟合"。

🔴 假设你有 4 张 A100 (80GB)，要微调 70B 模型做法律问答，你会怎么设计系统？

回答要点：

第一句定义：70B 模型全量微调单卡放不下，需要用 ZeRO-3 / FSDP 切分或量化方案，本方案选 DeepSpeed ZeRO-3 + LoRA，最具性价比。

三段方案设计：(1) 显存预算：70B 模型 fp16 约 140GB，加上 AdamW 优化器状态（2 倍参数 ~ 280GB）和梯度（1 倍 ~ 140GB），总计约 560GB——4 张 A100 共 320GB 放不下，必须叠加量化或 LoRA；(2) 选 QLoRA 路线：4-bit 量化把模型压到 ~40GB，加 LoRA 增量（r=64 时约 1-2GB），4 卡可容纳；(3) 并行策略：用 FSDP 做参数分片，每卡承担 ~10GB 参数 + 完整 LoRA 训练，训练时按需 all-gather，推理时把 LoRA 合并回 W。

具体流程：70B base (4bit) + LoRA (r=64) + DeepSpeed ZeRO-3 + FlashAttention-2 + BF16 训练，每张卡占用约 60GB，全程 batch size 控制在 1-2 per card，配合 gradient checkpointing 即可运行。

场景对比：纯 FFT 至少需要 16 卡 A100（80GB），而本方案 4 卡可完成，节省 75% 硬件成本。

金句总结：大模型微调的核心是"显存交换"——用量化换精度、用 LoRA 换参数、用切片换规模。

加分项：可提"法律问答还需要 RAG 检索最新法条+ LoRA 输出格式学习+ 幻觉检测机制，三者缺一不可"。

🟢 指令微调 (IFT) 和 SFT 到底是什么关系？面试时被问到别混为一谈

回答要点：

第一句定义：SFT 是上位概念（任何有监督微调都算 SFT），IFT 是 SFT 的子集，特指"输入是自然语言任务描述、输出是该任务的标准答案"这种数据组织形式。

三段关系：(1) 从训练方式看：两者都用交叉熵损失做监督学习，都有"标准答案"，训练算法本质上一样；(2) 从数据格式看：SFT 数据可以是"分类标签"、"翻译对"、"摘要对"、"指令-回答对"等任意监督信号；IFT 必须是"指令→回答"配对，强调任务是"自然语言描述"的；(3) 从目的看：SFT 的目标是泛化的"任务适配"（如把 BERT 微调成分类器）；IFT 的目标是"零样本泛化能力"——让模型见到新指令也能按格式回答。

具体例子：BERT 微调成情感分类器是 SFT 但不叫 IFT；用 10 万条 {"翻译成英文": "你好 → Hello"} 数据训练是 IFT 也是 SFT。

金句总结：IFT 是"有格式要求的 SFT"——所有 IFT 都是 SFT，但不是所有 SFT 都是 IFT。

加分项：可以说"IFT 是 2022 年以后兴起的概念，2022 年之前 LLM 主要靠 BERT-style 任务级微调，没有'指令对齐'这一说"。