AI输出的"方向盘"：三个参数搞定生成效果
上次我们聊了大模型推理的完整流程——Prompt 怎么变成 token，token 又怎么一步步算出来。
但你有没有想过：同样一个模型，为什么有时候输出四平八稳，有时候却能给你惊喜？
秘密就在今天要聊的三个参数里：Temperature、Top-k、Top-p。它们就像控制 AI 输出的方向盘，决定了模型是"乖学生"还是"野孩子"。
大模型是怎么"选词"的？
先说个基础问题：AI 到底是咋工作的？
模型生成文本，本质上是一个"循环选词"的过程。
你输入"今天天气"，模型要在数万个候选词里挑一个。它给每个词都打个分，所有分数加起来等于 1。
比如"很棒"可能是 30%，"不错"是 25%，"一般"是 20%……
问题来了：怎么从这些概率里选一个？
最笨的方法叫"贪心策略"——直接选概率最高的那个。听起来没毛病对吧？但用起来就知道不对劲了。
AI 永远选最高概率的词，就会变得特别保守。你让它写首诗，它给你来来回回就那几句——"太阳公公在天上笑""天气真好啊"——翻来覆去就这些。为啥？因为这些词概率高，模型就不愿意冒险。
怎么破？答案是"采样"。
说白了就是：不给最高概率的词"保送"资格，让它概率高但不一定赢。这样低概率的词也有机会被抽中，输出就多样了。
Temperature——控制输出的"保守度"
好了，现在你搞懂了"选词"这回事。那怎么控制它保守还是激进呢？这就轮到 Temperature 上场了。
Temperature 本来是个热力学概念，用在 AI 里就是调整概率分布的"形状"。
温度越高，概率分布越平缓；温度越低，概率分布越尖锐。
具体什么意思？举个例子。
温度低的时候，比如 0.1：
- "不错"概率 80%
- "很好"概率 15%
- "一般"概率 3%
- 其他词基本为 0
这时候模型基本只会选"不错"，输出非常稳定但缺乏变化。
温度高的时候，比如 1.5：
- "不错"概率 30%
- "很好"概率 28%
- "一般"概率 22%
- "真棒"概率 15%
- 其他词各有 5%、3%、2%……
各种词都有机会，模型更"放飞自我"。
温度为 0 时会怎样？
这时候概率分布会变得极度尖锐，模型直接退化到贪心策略——永远选最高概率的词。
所以如果你发现 AI 输出变得特别稳定、特别保守，先看看 Temperature 是不是被调成 0 了。
Top-K 和 Top-P——两种"淘汰赛"规则
Temperature 控制了概率分布的形状，但模型候选词有几万个，全让它们参与"抽奖"也不太合理。
这时候 Top-K 和 Top-P 就派上用场了，它们负责"提前淘汰"一部分候选词。
Top-K 是什么？
很简单粗暴：只保留概率最高的 K 个词，其他全部淘汰。
比如 Top-K = 5，就是只留概率排名前 5 的词。
好处是计算量固定，容易理解。坏处也很明显：有时候模型很确定（比如某个词概率 99%），留 5 个候选词太多了；但有时候模型很纠结（最高概率才 20%），留 5 个又不够。所以 Top-K 有点"死板"——不管当前情况如何，一律按数量选。
Top-P 是什么？
这是一种更灵活的方式，叫"累积概率截断"。
操作起来也很简单：从概率最高的词开始往下列，累加它们的概率，恰好超过阈值 P 就停。
举个例子，Top-P = 0.9：
- "不错"概率 50%，累计 50%，还没到 90%，继续
- "很好"概率 25%，累计 75%，还没到 90%，继续
- "一般"概率 15%，累计 90%，超过 90% 了，停止
结果就是：只保留"不错"、"很好"、"一般"三个词。
模型很确定时，比如"不错"概率 95%，那只需要留它一个就够了。模型很纠结时，比如最高才 20%，可能就要留七八个才能凑够 90%。这就是 Top-P 比 Top-K 聪明的地方——它能自适应。
三个参数怎么配合使用
现在你知道了三个参数各自的作用。但它们不是各玩各的，是有顺序的协作关系。
完整流程是这样的：
- 模型输出原始分数（logits）
- 先用 Top-K 或 Top-P 筛选候选词
- 对剩余候选词的概率分布应用 Temperature
- 最后采样输出
最佳实践是什么？
记住三句话就够了：
只调 Top-P，别同时开 Top-K 和 Top-P。 同时开的话，Top-K 会先截断，Top-P 就没意义了，属于重复操作。
先固定 Temperature，再调 Top-P。 就像调音响：先固定音量，再调音效。如果两个参数同时大幅修改，你就分不清是哪个在起作用。
从默认值开始，每次只改一个参数。 调参讲究的是"观察-调整-验证"，不是一次到位。慢慢来。
不同场景的参数配置指南
说了这么多理论，到底怎么用？
我给你整理了三种典型场景的配置参考：
| 场景 | Temperature | Top-P | 效果 |
|---|---|---|---|
| 精确任务（代码、SQL、JSON） | 0 ~ 0.2 | 默认或 0.9 | 稳定可靠，不乱发挥 |
| 日常对话（客服、聊天） | 0.5 ~ 0.7 | 0.9 | 平衡稳定与自然 |
| 创意任务（写作、头脑风暴） | 0.8 ~ 1.2 | 0.95 | 丰富多样，敢于冒险 |
精确任务为什么要低温度？
写代码的时候，你可不希望模型突然给你来一段"浪漫的注释"。JSON 格式解析时，模型必须严格按照语法来，温度高了可能生成多余的逗号或者括号。这种场景下，稳定压倒一切。
创意任务为什么需要高温度？
写小说、做头脑风暴，你需要模型"敢想"。温度低的时候，模型只会重复最常见的表达方式，翻来覆去就那几句。温度高了，它更愿意尝试低概率但有创意的词，输出会更丰富。
调参常见误区与最佳实践
最后说几个容易踩的坑。
误区一：两个参数一起大幅修改
"这个回答太保守了，我把 Temperature 从 0.7 调到 1.2，Top-P 也从 0.9 调成 0.99。"
结果？输出完全失控。两个参数同时变，你根本不知道是哪个在起作用。正确做法：先动一个，观察两三轮，再决定要不要动第二个。
误区二：迷信某个"行业标准"
网上搜到的某篇文章说"Temperature 0.7 是万能设置"，你拿来就用。但不同模型、不同版本，默认策略可能完全不一样。GPT-4 的 0.7 和 Llama 的 0.7，效果可能差很多。
误区三：一次生成不满意就换参数
调参数不是一锤子买卖。第一次生成不满意，先看看是"太保守"还是"太激进"，再决定调哪个参数、调多大。调完之后多试几次，排除随机性影响。
写在最后
掌握了 Temperature、Top-K、Top-P 这三个参数，你就像拿到了一把调节 AI 输出的万能钥匙。
下次当你觉得 AI 的回答太死板或太离谱时，从这三个参数入手微调。但别忘了，最佳参数永远取决于你的具体场景——多尝试、多观察，找到最适合你的那组配置。
读到这里，你已经理解了大模型输出的控制机制。但你有没有想过：模型推理过程中，那些已经算过的中间结果，能不能重复利用来加速？下一篇文章我们来聊一个很巧妙的技术——KV Cache，看看它是怎么让推理快起来的。