转载：释放大语言模型潜力的提示工程（综述译文·第 2 篇：进阶方法·上）

署名与许可（文首必读）

• 原作标题：Unleashing the potential of prompt engineering for large language models
• 作者：Banghao Chen、Zhaofeng Zhang、Nicolas Langrené、Shengxin Zhu（北师港浸大 广东省数据科学交叉研究与应用重点实验室；北京师范大学数学研究中心）
• 期刊正式版：Patterns（Cell Press），DOI: 10.1016/j.patter.2025.101260；开放获取全文见 PMC
• 本文翻译所据版本：arXiv:2310.14735v6（HTML 版：https://arxiv.org/html/2310.14735v6），首版 2023-10-23，本修订版 2026-08-24
• 许可：CC BY 4.0（arXiv 页标注 License: CC BY 4.0；PMC 页声明 open access article under the CC BY license）
• 是否修改：是。本文为原文第 3 节「进阶方法」前半（3.1 思维链至 3.4 least-to-most）的完整中文翻译，按原文顺序逐段译出；图示处以图题与提示/输出示例的中文转述呈现；正文引用保留原文「作者（年份）」格式。第 2 篇上半与后续「进阶方法·下」合计覆盖第 3 节全文；全系列共 4 篇。
• 署名声明：译自 Chen, Zhang, Langrené, Zhu 的 Unleashing the potential of prompt engineering for large language models（arXiv:2310.14735v6 / Patterns 2025），采用 CC BY 4.0 许可，已作修改（翻译与排版）。

---

3 进阶方法

前一节的基础方法足以帮助我们得到尚可的输出。不过实验表明，当用大语言模型做分析或推理等复杂任务时，模型输出的准确度仍有提升空间。本节将介绍提示工程的进阶技术，用以引导模型生成更具体、更准确、更高质量的内容。

3.1 思维链（Chain-of-thought）

大语言模型中的「思维链」（Chain-of-Thought, CoT）提示是一个相对较新的进展，已被证明能显著提高模型在各类逻辑推理任务上的准确度（Wu et al., 2023；Zhang et al., 2023；Lewkowycz et al., 2022）。CoT 提示通过提供中间推理步骤来引导模型的回答，既可以用「让我们一步一步思考」（Let’s think step by step）这类简单提示触发，也可以通过一系列人工演示实现，每一条演示由一个问题与通向答案的推理链组成（Zhou et al., 2022；Lee et al., 2023）。它也为模型的推理过程提供了清晰结构，让用户更容易理解模型如何得出结论。

Wei et al.（2022）说明了把 CoT 提示用于医学推理的做法，表明它能有效从大语言模型中引出有效的中间推理步骤。Zhang and Parkes（2023）提出了经由思维链推理的自我教育（SECToR），并主张：在强化学习的精神下，大语言模型可以通过思维链推理成功自学新技能。另一项研究中，Cobbe et al.（2021）用 CoT 提示训练验证器来解数学应用题，展示了该技术在教育场景中的潜力。Huang et al.（2023）提出了多模态版 CoT，称为 Multimodal-CoT，用于处理超出简单文本任务的更复杂多模态任务（例如视觉任务），进一步拓展了 CoT 的应用空间。此外，许多工作在 CoT 框架之上继续推进：例如 Shum et al.（2023）提出 Automate-CoT，用自动化方式增强与筛选理由链，以提升大语言模型的推理能力，从而减少对手工编写 CoT 提示的依赖。

3.1.1 零样本思维链

「零样本思维链」（Zero-Shot chain-of-thought, Zero-shot-CoT）是 CoT 提示机制的进阶形态。「零样本」意味着：模型在训练中从未见过该任务的示例，仍能完成一定推理。

Kojima et al.（2022）发现，在查询中加入短语「让我们一步一步思考」有助于大语言模型生成逐步推理链，而这条推理链随后有助于得到更精确的答案。其思路是：模型与人一样，可以从更细致、更合乎逻辑的步骤中受益，从而更好地处理提示并生成回答。

例如，标准提示见图 6，而追加「让我们一步一步思考」见图 7。观察表明，加入该短语后，模型回答的逻辑连贯性与完整性都会增强。

图 6：标准提示。（原图见 arXiv HTML；此处保留图题，提示与输出示例请对照原文图示。）

图 7：加入「让我们一步一步思考」。（原图见 arXiv HTML。）

3.1.2 黄金思维链（Golden chain-of-thought）

Del and Fishel（2023）提出了「黄金思维链」，为基于指令的查询生成回答提供了一种新思路。该方法在提示中纳入一组「真实思维链」（ground-truth chain-of-thought）解法，从而大大简化模型任务，因为它不必独立生成 CoT。与此同时，作者设计了一个由侦探谜题构成的新基准，用以评估大语言模型的溯因推理能力，这也被视为对黄金 CoT 的评估。实验表明，在黄金 CoT 设定下，GPT-4 表现可观：谜题求解率约 83%，而标准 CoT 约 38%。

不过，黄金 CoT 要求把「真实思维链解法」作为提示的一部分，这也意味着：尽管求解率很高，它对「没有现成真实推理链」的问题帮助有限。

3.2 自洽（Self-consistency）

在 InstructGPT（Ouyang et al., 2022）与 GPT-3（Brown et al., 2020）于合成问答数据集 Proof and Ontology-Generated Question-Answering（PrOntoQA，Saparov and He, 2022；Tafjord et al., 2021）上的评估中，研究者观察到：即便最大规模的模型具备推理能力，它在证明规划、以及在多选项中选出合适证明步骤时仍会遇到困难，从而带来准确度的不确定性（Saparov and He, 2022）。自洽是大语言模型应对这一情况的方法之一：它是一种进阶提示技术，旨在让模型的多条回答彼此一致（Wang et al., 2023；Wei et al., 2022），能大幅提高得到高准确结果的概率。

自洽原则认为：对复杂推理问题，可以有多条通向正确答案的推理路径。做法是：让语言模型对同一问题生成多样化的推理路径，再通过对这些路径的评估与边缘化，选出最准确、最一致的答案，使最终答案反映多条思路的汇合。

自洽方法包含三步：首先用 CoT 提示语言模型；然后把 CoT 中的「贪心解码」（1-Best）（Radford et al., 2019；Chowdhery et al., 2022）替换为从解码器采样，以生成多样化推理路径；最后边缘化这些路径，并在最终答案集合中聚合、选出最一致的答案。

值得注意的是，自洽可以与多数采样算法和谐结合，包括但不限于温度采样（Ackley et al., 1985；Ficler and Goldberg, 2017）、top-(k) 采样（Fan et al., 2018；Holtzman et al., 2018；Radford et al., 2019）以及核采样（Holtzman et al., 2020）。不过这类操作可能需要调用模型 API 来微调超参数。另一种做法是：让模型用不同推理路径生成结果，得到多样化的候选路径，再选择在各条轨迹上一致性最高的回答，它更可能是正确解（Huang et al., 2022）。

Shum et al.（2023）；Bender et al.（2021）表明，自洽能提升算术、常识与符号推理任务的结果。实践中还可与其他技术结合：Khalifa et al.（2023）发现，把自洽与判别器引导的多步推理结合，能显著提升模型推理能力。

3.3 生成知识（Generated knowledge）

提示工程中的「生成知识」方法（Liu et al., 2022）利用大语言模型先就给定问题或提示生成可能有用的信息，再据此生成最终回答。它对需要常识推理的任务尤其有效，因为模型可以生成并使用初始提示中未必显式给出的额外上下文。

如图 6 所示，当向模型提问「想象一个无限宽的入口，坦克和汽车哪个更容易通过？」时，标准提示往往忽略「入口高度」。相反，如图 8 与图 9 所示，先提示模型生成相关信息，再把生成信息用于提问，则输出的逻辑连贯性与完整性会增强，并促使模型考虑「入口高度」等关键因素。

图 8：生成知识（步骤 1）。（原图见 arXiv HTML。）

图 9：把生成知识与问题结合（步骤 2）。（原图见 arXiv HTML。）

3.4 Least-to-most 提示

「least-to-most prompting」（Zhou et al., 2023）是一种进阶方法：把复杂问题分解为一系列更简单的子问题，再按顺序求解。其基本前提是系统地把艰巨任务拆成可管理的部分。每个子问题依次求解，前一解成为后一解的积木。这种逐步过程不仅简化了语言模型的解题负担，也使其能处理比传统提示通常能应对的更复杂的挑战。图 10 展示了把 least-to-most 用于数学应用题的示意：先把「求火车 2.5 小时行驶距离」拆成两个相继子问题（先求速度，再用速度求距离），再汇总得到最终答案。该方法强调问题分解与顺序求解，使模型更能有效管理并解决复杂任务。

图 10：Least-to-Most 提示用于数学应用题的示意。（原图见 arXiv HTML。）

在符号操作、组合泛化与数学推理等领域的严格实验中，Zhou et al.（2023）证明 least-to-most 范式能够泛化到比提示中最初给出的更复杂的挑战。Gao et al.（2023）提出程序辅助语言模型（PAL）：让大语言模型阅读自然语言问题并生成程序作为中间推理步骤；结合 least-to-most 后，PAL 在 GSM8K（Cobbe et al., 2021）与 SVAMP（Patel et al., 2021）等复杂数学基准上表现有提升。

---

本篇范围说明：第 2 篇（上）覆盖第 3 节 3.1–3.4。后续「进阶方法·下」将继续翻译 3.5 思维树至 3.12 ReAct 等其余进阶小节，再与第 3、4 篇（多模态 / 评测 / 应用与安全等）组成四篇连载。若你希望严格「第 2 篇 = 整节 3」，可把上、下合并后再发。

下一篇预告：进阶方法·下（思维树、思维图、分解提示、主动提示、提示模式目录、提示优化、检索增强、ART / ReAct 等）。

再分发时请保留

1. 署名全体作者 Banghao Chen、Zhaofeng Zhang、Nicolas Langrené、Shengxin Zhu；
2. 标明许可 CC BY 4.0，并注明本文为翻译、已作修改；
3. 链接原文：arXiv 2310.14735v6，以及期刊 DOI 10.1016/j.patter.2025.101260；
4. 如需引用学术结论，请以期刊正式版或 arXiv 原文及其参考文献为准。