前言

这是我的agent系列文章的第5篇，该系列分为三部分：

• AI认知篇：详细讲解相关基础概念
• AI实践篇：分享诸如skills怎么写、怎么ai coding、怎么写好prompt等的最佳实践
• AI八股篇：分享我自己整理的应付大模型应用开发岗位必备的八股笔记

在大型语言模型（LLM）的应用开发中，我们常常面临一个核心矛盾：如何平衡模型的“稳定性”与“创造性”？有时候我们需要模型像教科书一样严谨准确，有时候又希望它能像诗人一样灵感迸发。

解决这一矛盾的关键，往往藏在两个看似简单却极其强大的参数背后：Temperature（温度） 和 Top-p（核采样）。很多开发者只是机械地调整这两个数值，却并不清楚它们底层究竟如何改变了概率分布，更不知道如何组合使用才能达到最佳效果。

本文将带你从原理出发，彻底搞懂这两个参数的工作机制，并给出实用的调优策略。

一、大模型生成的底层逻辑：从分数到采样

要理解参数的作用，首先得明白大模型是如何生成下一个字的。这个过程并非“直接输出”，而是一个严谨的三步走流程：

1. 生成分数（Logits）：模型根据上下文，对词表中的每一个候选词计算出一个原始分数（Logit）。这个分数代表了模型认为该词出现在当前位置的“可能性倾向”。
2. Softmax 概率转换：原始分数不能直接用于随机选择，因为它们没有归一化。通过 Softmax 函数，将这些分数转化为概率分布。此时，所有候选词的概率之和为 1。
3. 加权采样（Weighted Sampling）：最后，系统根据计算出的概率分布进行随机采样，选中哪个词，哪个词就作为输出。

关键点：Temperature 和 Top-p 正是介入在第 2 步和第 3 步之间，对概率分布进行“整形”和“剪枝”，从而改变最终的采样结果。

二、Temperature：控制概率分布的“平滑度”

Temperature（通常记为 T）是一个作用于 Softmax 之前的参数。它的本质是改变概率分布的尖锐程度。

1. 工作原理

• 当 T < 1（低温模式）：分数的差异被放大。高分的词概率变得更高，低分的词概率趋近于 0。效果：概率分布变得非常“尖锐”。模型会极度倾向于选择它认为最可能的那个词。表现：输出稳定、保守、重复性高，适合事实性问答、代码生成或数学推理。：等同于贪心搜索（Greedy Search），永远只选概率最大的词，结果完全确定。
• 当 T > 1（高温模式）：分数的差异被缩小。高分的词概率降低，低分的词概率提升。效果：概率分布变得“平滑”。原本不太可能的词也有了被选中的机会。表现：输出多样、跳跃、富有创意，但也更容易产生幻觉或逻辑混乱。适合创意写作、头脑风暴。：所有词的概率趋于相等，变成完全随机乱码。

2. 直观比喻

想象一个班级投票：

• 低温：就像老师权威很大，大家几乎都投给那个最优秀的学生，结果毫无悬念。
• 高温：就像老师让大家随意投，即使是平时不起眼的学生也有机会当选，结果充满不确定性。

三、Top-p：动态剪枝，拒绝长尾噪音

如果说 Temperature 是调整概率的“形状”，那么 Top-p（Nucleus Sampling，核采样）就是直接砍掉概率低的长尾部分。

1. 为什么需要 Top-p？

• 有时候前 5 个词的概率加起来已经 99% 了，选第 6-50 个词纯属噪音。
• 有时候前 50 个词加起来才 80%，剩下的 20% 分散在很多合理词汇上，强行只选前 5 个会丢失多样性。

Top-p 解决了这个问题：它不固定数量，而是。

2. 工作流程

1. 将所有候选词按概率从高到低排序。
2. 从最高概率的词开始累加，直到累积概率刚刚超过设定的阈值 p（例如 0.9）。
3. 截断：只保留这些被累加到的词，将剩余的所有低概率词（长尾）的概率强制设为 0。
4. 重归一化：将保留下来的词的概率重新归一化，使它们的和为 1。
5. 在缩减后的候选池中进行采样。

3. 参数影响

四、Temperature 与 Top-p 的协同作战

在实际应用中，这两个参数通常是组合使用的。理解它们的区别和联系至关重要。

最佳实践策略

五、总结与建议

Temperature 和 Top-p 是大模型应用开发中性价比最高的两个调优杠杆。

• Temperature 是你手中的“调色盘”，决定输出的色彩是单调精准还是丰富多彩。
• Top-p 是你手中的“剪刀”，负责剪除那些不合逻辑的枝蔓，确保主干清晰。

六、其他

考研失利想速成冲春招的可以看看我发过的这篇帖子：论考研失利如何冲春招

想要学习Java冲实习或冲春招的，我能助你一臂之力，我之前整理了高质量可速成的魔改外卖项目话术和7000字轮子项目话术，还有超全超精品八股大全专栏，怎么写简历，怎么包装实习经历，怎么0基础速成冲春招和实习等等精品帖子，大家可以去看看我的精品文章汇总帖子：往期精品秋招帖子汇总

我的java和大模型应用开发全专栏（20w人学习，超千人订阅，牛客最受欢迎最高质量java八股专栏，内容包含： 1.八股大全：多一句没有少一句不行的最精简八股整理，完全可以应付校招社招的八股拷打！ 2.速成项目话术：目前有魔改苍穹外卖项目话术（额外扩展了很多技术亮点），能速成拿去面试，后面会更新魔改黑马点评、商城项目等等热门高质量项目话术 3.智力题超详细题解汇总； 4.面试时非技术问题话术整理，绝对震惊面试官一年； 5.算法lc hot100全题系列题解：绝对通俗易懂；6、场景题汇总：快速冲刺秋招专栏