转载：释放大语言模型潜力的提示工程（综述译文·第 1 篇：摘要、引言与基础方法）

署名与许可（文首必读）

• 原作标题：Unleashing the potential of prompt engineering for large language models
• 作者：Banghao Chen、Zhaofeng Zhang、Nicolas Langrené、Shengxin Zhu（北师港浸大 广东省数据科学交叉研究与应用重点实验室；北京师范大学数学研究中心）
• 期刊正式版：Patterns（Cell Press），DOI: 10.1016/j.patter.2025.101260；开放获取全文见 PMC
• 本文翻译所据版本：arXiv:2310.14735v6（HTML 版：https://arxiv.org/html/2310.14735v6），首版 2023-10-23，本修订版 2026-08-24
• 许可：CC BY 4.0（arXiv 页标注 License: CC BY 4.0；PMC 页声明 open access article under the CC BY license）
• 是否修改：是。本文为原文摘要、第 1 节「引言」与第 2 节「提示工程基础」的完整中文翻译，按原文顺序逐段译出；图 2 至图 5 的提示与模型输出示例一并译为中文（原文中的省略号照原样保留）；图 1 为时间线图片，仅保留图题并链接原图；正文引用保留原文「作者（年份）」格式，完整参考文献请见原文。全文分 4 篇连载，后续篇目覆盖第 3 至第 9 节。
• 署名声明：译自 Chen, Zhang, Langrené, Zhu 的 Unleashing the potential of prompt engineering for large language models（arXiv:2310.14735v6 / Patterns 2025），采用 CC BY 4.0 许可，已作修改（翻译与排版）。

---

摘要

本综述深入探讨提示工程在释放大语言模型（LLM）能力方面的关键作用。人工智能（AI）从 20 世纪 50 年代起步，发展到先进的神经网络和深度学习架构，已在大语言模型（如 GPT-4o、Claude-3）和视觉语言模型（VLM，如 CLIP、ALIGN）上取得突破。提示工程是对输入进行结构化的过程，已成为最大化这些模型效用与准确性的关键技术。本文探讨提示工程的基础方法与进阶方法，包括自洽（self-consistency）、思维链（chain-of-thought）和生成知识（generated knowledge）等能显著提升模型表现的技术。此外，本文还通过上下文优化（CoOp）、条件上下文优化（CoCoOp）和多模态提示学习（MaPLe）等创新方法，考察了视觉语言模型的提示方法。讨论中至关重要的一环是 AI 安全，特别是利用提示工程漏洞发起的对抗攻击；本文全面回顾了缓解这些风险、增强模型鲁棒性的策略。本文还从主观和客观两类指标出发讨论提示方法的评估，以确保对其效果做出可靠的分析。本综述也体现了提示工程在推进 AI 能力方面的重要作用，为未来的研究与应用提供了一个结构化框架。

关键词：提示工程，大语言模型，AI 生成内容，对抗攻击，评估，AI Agent，GPT-4，视觉语言模型

---

1 引言

近年来，人工智能研究的一个重要里程碑是自然语言处理能力的进步，这主要归功于大语言模型（LLM）。许多流行的模型都基于 Transformer 架构（Vaswani et al., 2017），并在来自网络文本的海量数据集上训练。其设计的核心是一个自监督学习目标，即预测不完整句子中的下一个词。这些模型被称为人工智能生成内容（AIGC），它们之所以能生成连贯且符合上下文的回答，正是源于这一训练过程：模型在其中学会把词语和短语与其典型语境联系起来。

大语言模型的工作方式是把输入文本编码到一个高维向量空间中，在这个空间里，词语和短语之间的语义关系得以保留。随后，模型在所学统计规律的引导下，对这一表示进行解码以生成回答（Bender et al., 2021）。回答的质量会受多种因素影响，包括提供给模型的提示、模型的超参数以及训练数据的多样性。

这些模型，包括 OpenAI 的 GPT 系列（Brown et al., 2020；OpenAI et al., 2024），以及许多其他模型（例如 Google 的 Gemini（Team et al., 2024；Google, 2024）和 Gemini（BARD）（Hulbert, 2023）、Anthropic 的 Claude 系列（Anthropic, 2024）、Meta 的开源 Llama 系列（Touvron et al., 2023；Dubey et al., 2024）），已经彻底改变了从信息抽取到创作引人入胜内容的各类任务（Sarkhel et al., 2023）。与此同时，多模态大模型（MMLM）的发展带来了不只处理和生成文本，还能处理和生成图像、音频及其他形式数据的能力，展现出其灵活性与有效性。这些模型把多种数据模态整合进单一框架，在图像描述和视觉问答（VQA）等任务上表现出强大能力。早期的多模态大模型包括能根据文字描述生成图像的 DALL-E 系列（Ramesh et al., 2021；Marcus et al., 2022；OpenAI, 2021），以及能以统一方式理解并关联文本与图像数据的 CLIP（Radford et al., 2021；Li et al., 2022）。更强大的模型，如 OpenAI 的 GPT-4o（OpenAI, 2024）和 Anthropic 的 Claude 3.5 Sonnet（Anthropic, 2024），在涉及文本生成与理解的多模态任务上表现出色，它们把自然语言处理与多种形式的数据结合起来，完成多样而复杂的任务。尽管目前许多先进模型已经能够处理音频，但大多数可用的应用程序编程接口（API）仍集中在文本和视觉模态上。随着音频 API 的逐步推出，可以预期这一模态的研究将大幅扩展（Moore, 2024）。大语言模型的演进体现了 AI 研究的长足进步，其特征是模型复杂度不断提升、训练方法不断改进、应用潜力不断扩大。这些进展凸显了提示工程在最大化模型效用与准确性方面的关键作用，使模型能够有效满足多样且不断变化的用户需求。虽然本综述主要关注大语言模型的提示工程，但纳入视觉语言模型（VLM）能提供更广阔的视角，揭示提示工程在处理多模态数据时的潜力与挑战。通过整合这两类模型的研究，我们可以更深入地理解提示工程的应用，并为未来的研究与实践提供有价值的见解。

在实际应用中，提示就是模型的输入，而提示工程可能导致输出出现显著差异（Kaddour et al., 2023）。无论是修改提示的结构（例如改变长度、示例的排列方式），还是修改提示的内容（例如措辞、示例的选择、指令），都可能对模型行为产生明显影响（Lu et al., 2022；Webson and Pavlick, 2022）。

提示工程指的是系统地设计和优化输入提示，以引导大语言模型的回答，确保生成内容准确、相关且连贯。这一过程对于充分发挥这些模型的潜力至关重要，能让它们更易用，并适用于多种领域。随着时间推移，提示工程已从一种经验性的做法发展为一个结构清晰的研究领域。如图 1 所示，提示工程的发展历程展示了一系列重要里程碑：从 20 世纪 50 年代早期的结构化输入，到近年发展出的思维链提示（Wei et al., 2022）和自洽提示（Wang et al., 2023）等进阶方法。本综述将主要关注 2017 年之后快速发展时期出现的技术。

图 1：提示工程的发展历程。（时间线原图见 arXiv 原文图 1）

当代提示工程涵盖一系列技术，从角色提示（Shanahan et al., 2023）等基础方法，到思维链提示（Wei et al., 2022）等更复杂的方法。这一领域仍在快速变化，新的研究不断揭示提示工程的新技术和新应用。提示工程之所以重要，在于它能引导模型的回答，从而增强大语言模型在各行业的通用性与适用性。重要的是，构造良好的提示可以对抗机器幻觉等问题（Maynez et al., 2020；Bubeck et al., 2023）。提示工程的影响延伸到众多学科。例如，它促成了利用大语言模型构建稳健的特征提取器，从而提升了缺陷检测与分类等任务的效果（Yong et al., 2022）。

本文旨在全面回顾迄今为止在大语言模型领域提出的提示工程技术。全文结构如下：第 2 节探讨提示工程的基础方法，强调清晰准确的指令、角色提示以及通过多次尝试优化输出的重要性。第 3 节介绍思维链、自洽和生成知识等进阶方法，用以引导模型生成高质量内容。第 4 节讨论视觉语言模型特有的方法，包括上下文优化（CoOp）、条件上下文优化（CoCoOp）和多模态提示学习（MaPLe），这些方法能提升视觉语言模型的表现（Wang et al., 2023）。第 5 节通过主观和客观评估来衡量各种提示方法的效果，以确保对其有效性做出可靠的分析。第 6 节简要探讨提示工程在教育、内容创作、计算机编程和推理任务等不同领域的应用，展示其广泛影响。第 7 节讨论提示工程的安全问题，指出大语言模型的常见漏洞，并回顾对抗训练等增强安全性的策略。最后，第 8 节探讨前瞻性方法，强调理解 AI 模型结构的重要性，以及 AI Agent 在推进 AI 生成内容工具方面的潜力。这一结构化框架全面展示了提示工程在推进 AI 能力、指导未来研究与应用方面的关键作用。

---

2 提示工程基础

只需加入少数几个关键要素，就能写出一个让大语言模型给出高质量回答的基础提示。本节将讨论一个好提示的若干基本组成部分，并展示这些方法的示例。

2.1 模型简介：GPT-4

以下各节中的所有示例均由 OpenAI 开发的 GPT-4 生成（OpenAI et al., 2024）。GPT-4 使用了海量文本数据进行训练，其参数量据估计比早期 GPT-3 所用的 1750 亿参数大几个数量级（Brown et al., 2020）。该模型的架构基础是 Transformer（Vaswani et al., 2017），其本质是一种注意力机制，会根据上下文为输入数据分配不同的权重。与 GPT-3 类似，GPT-4 也通过基于人类反馈的强化学习（RLHF）进行了微调，以遵循广泛的书面指令（Christiano et al., 2017；Stiennon et al., 2020）；RLHF 是一种把人类偏好用作奖励信号来微调模型的技术。

当 GPT-4 收到一个输入提示时，输入文本首先会被转换成模型能够解释和处理的 token（词元）。这些 token 随后由 Transformer 层处理（Radford et al., 2019），这些层会捕捉 token 之间的关系和上下文。在这些层中，注意力机制根据 token 的相关性和上下文为它们分配不同的权重。经过注意力处理后，模型会形成对输入数据的内部表示，称为中间表示。这些表示随后被解码回人类可读的文本（Radford et al., 2018）。

这一过程中很重要的一环是随机性函数（Radford et al., 2019）。该函数主要受两个参数影响：温度（temperature）和 top-(k) 采样。第一个参数温度（Holtzman et al., 2020）用于平衡输出的随机性与确定性：温度越高，输出越随机；温度越低，输出越确定。第二个参数 top-(k) 采样（Welleck et al., 2019）会在生成输出的每一步，把模型的选择限制在概率最高的前 (k) 个 token 之内。这一过程的最后阶段是输出生成，模型在这一步写出最终文本。

2.2 给出指令

给出指令的方法也称为重读（re-reading）（Xu et al., 2023），指的是借鉴人类阅读策略的启发式做法。研究观察到，当只给出基本指令、不附加任何补充说明时，2.1 节介绍的 GPT-4 生成的输出往往过于笼统（YanSong and JingLi Tencent, 2018；Luo et al., 2019）。图 2 展示了一个示例提示。当模型收到一条基本指令时，它面临大量可能的选项，因此结果会相当宽泛。所以，要得到更准确、更相关的输出，全面的描述必不可少（Yang et al., 2019）。

图 2：不附加额外描述地给出指令。

模型输入：我想了解一些科技前沿方面的内容。

模型输出：以下是一些关键领域：

1. 人工智能与机器学习：这些技术正变得越来越成熟，在自然语言处理（比如你现在正在交互的这项技术）、计算机视觉和强化学习等领域都取得了进展。迁移学习和联邦学习等技术正被用来让机器学习模型更高效、对数据的依赖更少。
2. 量子计算：量子计算机利用量子力学原理处理信息。对于某些类型的问题，它们有望比经典计算机高效得多。Google、IBM 以及许多初创公司都在这一领域大力投入。
3. 5G 及以后：5G 无线技术在 2020 年和 2021 年开始大规模部署，带来了更快的速度、更低的延迟，以及同时连接更多设备的能力。6G 的研究也在进行中，预计它将与 AI 更深度地融合，并可能带来更具变革性的改变。
4. 生物技术：……

2.3 清晰而准确

第二种基础提示方法是「清晰而准确」。这指的是把提示写得没有歧义且具体，从而引导模型生成想要的输出。

大多数大语言模型都是从大量文本数据中学习而来的，可以把它看作无数作者见解的综合。当收到宽泛或不够详细的提示时，它的输出大多是通用性的，虽然适用于各种场景，但对任何特定应用而言可能都不是最优的。相反，详细而准确的提示能让模型生成更符合特定场景独特需求的内容，因为它降低了模型的不确定性，并把模型引向正确的回答。

例如，如图 3 所示，与其提出「我想了解科技前沿。」这样模糊的要求，更准确的提示应该是「我想了解科技前沿，特别是与人工智能和机器学习相关的内容……」。

图 3：一个更清晰、更准确的提示。

模型输入：我想了解科技前沿，特别是与人工智能和机器学习相关的内容。最近人工智能变得极其火热，尤其是让我惊叹的大语言模型。请至少从三个角度分析这项技术快速发展背后的可能原因。

模型输出：当然。AI 和机器学习的兴起，尤其是像 GPT-4 这样的大语言模型，可以看作几个关键因素共同作用的结果。我将从三个角度进行分析：技术进步、数据可得性和社会经济需求。

1. 技术进步：AI 和机器学习模型的发展得益于多项技术创新。首先，我们看到计算能力有了惊人的提升，尤其是图形处理器（GPU），以及如今更加专用的 AI 芯片。这些进步使得……
2. 数据可得性：……
3. 社会经济需求：……

2.4 角色提示

角色提示是提示工程中的另一种基础方法。它指的是让模型扮演一个特定角色，例如一个乐于助人的助手或一位知识渊博的专家（Zhang et al., 2023）。这种方法在引导模型回答、确保回答符合预期输出方面尤其有效。例如，如果提示模型扮演一位历史学家，那么在被问到某个历史事件时，它更有可能给出详细且符合语境的准确回答（Van Buren, 2023）。图 4 给出了另一个简短示例。

图 4：角色提示示例。

角色提示：你是一位人工智能专家，专攻大语言模型……

模型输出：以下是快速上手大语言模型的五种基本方法：

1. 试用基于网页的界面： ……

2.5 用三引号分隔

在提示工程中，使用三引号是一种用来分隔提示中不同部分、或者包裹多行字符串的技巧。当提示比较复杂、包含多个组成部分，或者提示本身含有引号时，这种技巧尤其有用，它能让模型更好地理解你的指令（OpenAI, 2023）。

2.6 多试几次

由于大语言模型具有非确定性，生成回答时多试几次往往是有益的。这种技巧通常称为「重采样」（resampling），即用同一个提示多次运行模型，并从中选出最好的输出。这种做法有助于克服模型回答固有的波动性，提高获得高质量输出的概率（Holtzman et al., 2020）。

2.7 单样本或少样本提示

单样本（one-shot）提示和少样本（few-shot）提示是提示工程中的两种重要技术。单样本提示指只给模型一个示例供其学习，而少样本提示（Logan IV et al., 2022）则给模型提供多个示例（Shyr et al., 2023）。选择单样本还是少样本提示，通常取决于任务的复杂程度和模型的能力。例如，对于简单任务或能力很强的模型，单样本提示可能就足够了，图 5 给出了一个示例。然而，对于更复杂的任务或能力较弱的模型，少样本提示能提供更多上下文和指引，从而提升模型表现。

图 5：标准提示与单样本提示的对比。

标准提示

• 模型输入：问：是或否，梨放进水里会沉下去吗？
• 模型输出：答：是的，梨放进水里通常会浮起来，而不是沉下去。原因在于，梨和许多水果一样，主要由水构成，密度比水小。密度比水小的物体放进水里会浮起来。（✗）

单样本提示

• 模型输入：问：是或否，在一些大学毕业典礼期间看到霜冻常见吗？答：答案是「是」。问：是或否，梨放进水里会沉下去吗？
• 模型输出：答：答案是「否」。（✓）

不过，正如 Reynolds and McDonell（2021）所说，「示例并不总是有帮助」，也就是说，在某些场景下零样本提示的输出可能更好。在基于提示的学习中，零样本提示（Liu et al., 2023；Kojima et al., 2022）指的是使用预训练的大语言模型执行任务，而不针对这些任务做任何专门训练。模型依靠预训练中获得的通用知识，根据精心设计的提示做出预测。这使大语言模型无需额外的任务专用数据就能处理新任务，因而适用于标注数据极少的场景。Reynolds and McDonell（2021）研究了 GPT-3 等大型生成式语言模型如何响应提示的细节。该论文的一个重要发现是：在某些场景下，零样本提示的表现可以超过少样本提示。这表明，少样本示例的作用也许并不在于教会模型一项新任务（元学习），而在于引导模型回想起它已经学会的任务。这一见解非常关键，因为它挑战了「示例越多表现越好」的传统看法（Brown et al., 2020）。在单样本或少样本提示的语境下，必须认识到：示例虽然能引导模型，却并不总能提升其表现。有时，一个精心设计的零样本提示可能比提供多个示例更有效（Liu et al., 2020）。

2.8 大语言模型设置：温度与 top-(p)

大语言模型的设置，例如温度和 top-(p)，在生成回答时起着关键作用。温度参数控制生成输出的随机性：温度越低，输出越确定（Ackley et al., 1985；Ficler and Goldberg, 2017）。而 top-(p) 参数控制核采样（nucleus sampling）（Holtzman et al., 2020），这是一种为模型输出增加随机性的方法（Xu et al., 2023）。调整这些参数会显著影响模型回答的质量和多样性，因此它们是提示工程中的重要工具。不过，有人指出，以 ChatGPT 为代表的某些模型不允许配置这些超参数，除非通过应用程序编程接口（API）调用。Liesenfeld and Dingemanse（2024）按多项开放性指标对若干 AI 文本生成器和文生图系统进行了排名，其中包括其 API 和模型参数的可获取程度。

---

下一篇预告：第 2 篇将完整翻译第 3 节「进阶方法」（思维链、自洽、生成知识、least-to-most、思维树、思维图、分解提示、主动提示、提示模式目录、提示优化、检索增强、ReAct 等）。

再分发时请保留

1. 署名全体作者 Banghao Chen、Zhaofeng Zhang、Nicolas Langrené、Shengxin Zhu；
2. 标明许可 CC BY 4.0，并注明本文为翻译、已作修改；
3. 链接原文：arXiv 2310.14735v6，以及期刊 DOI 10.1016/j.patter.2025.101260；
4. 如需引用学术结论，请以期刊正式版或 arXiv 原文及其参考文献为准。