Prompt、RAG 和微调怎么选?

Prompt、RAG和微调,到底该选哪个?
上篇聊完微调的"三大坑"——灾难性遗忘、过拟合、幻觉——你可能心里在想:微调这么多事儿,那干脆不用了?
先别急。
我去年帮一个创业团队做AI客服,最开始他们非要上微调,觉得这样才专业。结果花了三周、烧了几千块GPU费用,调出来的模型回答还不如直接写Prompt。那时候我才意识到:很多时候不是技术不够用,是我们把问题想复杂了。
微调虽然有风险,但有时候还真得靠它。问题是:你怎么知道自己该用微调,还是靠写好提示词、或者给AI接个知识库就够了?
今天把这三种技术放一块儿聊聊。
三种方式,本质差别在哪儿?
说白了,三种技术的核心差异在于:你想让AI"表演"出来,还是"学会"了。
Prompt就是"说话的艺术"。你给AI一份详细的工作手册,它照着做,但不改变它本身的能力。就像新员工入职,你给他一堆文档让他照着操作,他能完成任务,但能力边界就那么大。
RAG是"给AI装上眼睛"。它本身知识不够,但可以随时去外部知识库查资料。这就像你参加开卷考试,不用背所有内容,但得知道怎么快速翻到答案那页。
微调呢?相当于"改造大脑"。你送员工去脱产培训三个月,回来之后他的思维方式都不一样了。成本高、周期长,但一旦学会就是真本事。

记住这个就够了:Prompt是给工作手册,RAG是配资料室,微调是送去做专业培训。
有些事,Prompt真的就够了
先问自己一个问题:模型本身能力够不够?
很多时候答案其实是够的。
你做个客服机器人,用户问"怎么重置密码"、"退货流程是什么"——这类问题模式固定、答案明确。写清楚指令就行,比如"你是一个XX品牌客服,用户问XX问题时,按以下步骤回答"。不需要微调,不需要知识库,改改提示词就搞定。
Prompt的优势就两个字:快和灵活。
你今天想让AI用正式语气回复,明天改成活泼风格,后天加个"每句话不超过20字"的要求——改几行提示词的事。要是微调,光等训练完就得大半天。
但Prompt也有天花板。
你想让AI每次都稳定输出特定格式,结果换了个说法就不行了。你想让AI学会某种推理逻辑,结果换个场景它又忘了。这种"怎么调都不稳"的感觉,就是Prompt的天空到了。
简单任务用Prompt,复杂到Prompt撑不住的时候,再往下看。
知识又多又变,RAG该上场了
什么时候必须用RAG?
答案很简单:知识的量和变化速度,超出了Prompt能搞定的范围。
比如你做个法律咨询助手。法律条文天天更新,判例库有几十万份,你不可能把所有知识都塞进提示词里。模型也记不住这么多东西。
这时候RAG的价值就出来了。
用户问"2024年新出的劳动法解释对试用期有啥影响",AI不需要"背住"这条法律,它只需要知道怎么去知识库找到这条法律,然后读懂、回答。

RAG还有一个Prompt做不到的能力:答案可溯源。
企业要合规,回答必须标明出处。"根据XX法规第XX条"——这种回答只有RAG能做到,单纯靠Prompt可做不到。
但RAG也有坑。
你以为接个知识库就完事了?检索质量差的话,AI能找到一堆相关文档但就是找不到最准确那个。我之前做项目,光是调chunk大小就试了两周——切太大,相关内容被拆散了;切太小,上下文又不够用。你得优化向量化模型、得设计chunk策略、得做重排序……这些都是技术活。
知识量大且变化快、必须保证答案可溯源——这两个条件满足一个,RAG就该上场了。
微调真正适合什么场景?
终于说到微调了。经历了上篇那些"坑",你可能对它又爱又怕。
微调真正擅长的,不是"装新知识",而是改变模型的认知模式。
什么意思?
你让AI扮演一个"资深投资顾问",每次回复都要像专业人士那样分析风险、给出建议、语气沉稳有说服力。这种"角色感"靠Prompt很难稳定做到——你得写一大段system prompt,用户稍微换个问法,风格就飘了。
微调能让模型"学会"这种风格。每次回答都自带专业气场,不用你反复强调。
再比如你的业务有独特的推理逻辑。客服场景里,用户说"东西坏了"可能意味着要退换货,也可能是维修,还可能是投诉——这中间的决策流程非常复杂。Prompt很难让AI每次都走对这条逻辑链。
微调可以让AI真正"学会"这套决策模式。

微调的适用条件,总结下来就三条:
第一,需要稳定输出特定风格、语气、格式,且Prompt调不稳。
第二,任务有独特领域逻辑,模型需要"学会"特定推理方式。
第三,你有足够的训练数据——通常几千条以上高质量样本。
数据不够怎么办?微调效果不会好。与其硬上,不如先用Prompt和RAG凑合着。
怎么选?我的决策顺序
好,三种技术你都了解了。实际工作中怎么选?
说说我的思路,不是什么标准答案,但踩过不少坑之后总结出来的。
先看模型本身能力够不够。
你的任务,基础模型能不能搞定?能,直接用Prompt。不要为了技术而技术。上微调的诱惑很大,但很多时候Prompt真就够了。
再看知识是否需要实时更新或规模很大。
需要,接RAG。不需要,往下走。这里有个小技巧:你先试试把知识写成Prompt,如果提示词超过500字还说不清楚,那基本上就该上RAG了。
最后才考虑微调。
需要风格稳定、需要学会特定推理逻辑、需要特定格式——Prompt调不稳,RAG也帮不上忙,再考虑微调。

成本也是重要考量。Prompt几乎不要额外成本,RAG需要维护知识库和检索系统,微调从数据准备到训练到部署,全是成本。
时间成本刚好相反。Prompt改完就能用,RAG需要接入和调优,微调按天计算。
所以原则很简单:先用最简单的方案验证效果,再根据瓶颈升级。
选型最常见的三个误区
说完了我的思路,再看看反面。
误区一:微调能补知识短板。
错。微调最不擅长的就是装新知识。你想教模型知道"我们公司有哪几款产品",微调效果往往不如直接接RAG知识库。
微调改变的是"思维方式",不是"知识储备"。这俩一定要区分开。
误区二:RAG就是给模型外挂个知识库。
没那么简单。我见过太多人以为接个知识库就完事了,实际上检索质量直接决定回答质量。你得处理文本切分、处理向量embedding、处理检索排序、处理上下文窗口限制……每一步都有坑。
误区三:提示词写得越长越详细越好。
未必。指令太长反而会让模型困惑。简洁明确的指令,效果往往比长篇大论好。我一般控制在300字以内,写完自己读一遍,不通顺的地方模型大概率也会困惑。
那正确姿势是什么?
小步快跑,先用简单方案验证。
你做个新功能,先用Prompt跑通流程。看到哪里不稳定,再针对性优化。Prompt实在撑不住,再考虑RAG。RAG也满足不了,再上微调。
不要一上来就微调。投入大、周期长、出了问题还难排查。
写了七篇,从大模型是什么、怎么工作的,到Prompt怎么写、RAG怎么做、微调怎么搞、常见问题怎么处理——现在你知道了什么场景用什么技术。
技术选型没有银弹。
Prompt不是low,RAG不是万能,微调也不是终极方案。每种技术都有自己的边界和适用条件。
真正的高手,不是掌握了多少高大上的技术,而是知道什么场景该用什么技术。
下次遇到问题,先别急着上微调。问问自己:这个问题,Prompt能解决吗?RAG能解决吗?微调是不是真的必须?
找到真正的问题,选择才真正有意义。
如果你是AI应用开发的从业者,希望这个系列能帮你建立起完整的技术认知框架。剩下的,就是在自己的项目中不断实践、不断踩坑、不断迭代。
高手不是天生的,都是在实战中成长起来的。
加油。
