文章详情

采样策略

在大语言模型的生成过程中，模型并不会直接输出唯一确定的结果，而是先计算出每一个候选 Token 的概率分布，然后根据一定的策略从这些候选 Token 中选择最终输出的 Token。这个选择过程被称为 采样策略（Sampling Strategy）。采样策略决定了模型生成文本时的随机性、多样性以及稳定性，因此在实际应用中具有非常重要的作用。 在每一步生成 To

4 阅读