为什么AI模型都在做”思维链”？一文说透CoT原理

传统AI为什么会”一本正经地胡说八道”？

2022年3月，Google研究员Jason Wei在一篇论文中首次系统性地提出了”思维链提示”（Chain-of-Thought Prompting）技术。这项技术的诞生，源于一个困扰AI研究者多年的问题：为什么大语言模型在简单数学题上会给出荒谬的答案？

以一道小学数学题为例：”小明买了5个苹果，每个3元，又买了2个香蕉，每个4元，一共花了多少钱？”传统GPT-3模型往往直接输出”5×3+2×4=23元”，看似正确，但如果把题目改成”小明买了5个苹果，每个3元，又买了一些香蕉，每个4元，一共花了23元，他买了几个香蕉？”模型经常会直接套用乘法得出”23÷4=5.75个”这样的错误答案。

问题的根源在于：语言模型的本质是”下一个词预测器”。它并不真正”理解”数学逻辑，而是在海量文本中寻找相似的模式并拼接答案。当问题超出训练数据的分布范围，或者需要多步推理时，这种”表面相似”的匹配就会失效。

思维链的本质：用语言模拟推理过程

从”直接给答案”到”展示思考”

思维链的核心思想非常直观：不要让模型直接输出答案，而是引导它先把推理过程说出来。

在思维链模式下，同样的数学题会被这样回答：”首先计算苹果的费用：5×3=15元；然后计算香蕉的费用：设买了x个香蕉，4x元；总费用是15+4x=23元，所以4x=8，x=2。答案是2个香蕉。”

这个看似简单的改变，背后蕴含着深刻的认知科学原理。心理学家Daniel Kahneman在《思考，快与慢》中提出，人类思维分为”系统1″（快速直觉）和”系统2″（慢速分析）。AI模型的直接输出类似于系统1的直觉反应，而思维链则强制激活了系统2的逻辑推理过程。

注意力机制的”中间变量”

从技术角度理解，思维链之所以有效，与Transformer架构的注意力机制密切相关。当模型输出中间推理步骤时，这些步骤本身成为了后续推理的”上下文锚点”。

举例来说，当模型计算出”苹果费用是15元”后，这个结果会被编码进注意力矩阵，作为计算香蕉数量的依据。如果没有这个中间步骤，模型需要在单一前向传播中同时处理”提取数值”、”理解问题结构”、”执行运算”、”整合结果”等多个任务，这超过了模型的有效”工作记忆”容量。

Google的实验数据印证了这一点：在GSM8K数学应用题数据集上，不使用思维链的PaLM模型正确率为34%，引入思维链后跃升至58%，这个提升在当时的SOTA模型中也属于显著进步。

思维链的三种落地形态

Few-shot思维链：教会模型”像这样想”

最常用的思维链实现方式是”示例引导”。在prompt中提供2-3个完整的推理示例，每个示例包含问题、中间步骤和最终答案。模型会”模仿”这种思考模式，将其泛化到新问题上。

这种方法的优点是无需训练，成本极低；缺点是示例的质量和覆盖范围直接影响效果。OpenAI的GPT-4在使用Few-shot思维链后，在MATH数据集上的表现提升了约15个百分点。

Zero-shot思维链：简单指令激发推理

2022年11月，Google团队发现了一个更惊人的现象：只需在问题后加一句”让我们一步一步地思考”（Let’s think step by step），模型的推理能力就会出现显著提升。

这种”Zero-shot-CoT”方法虽然效果不如Few-shot，但在某些场景下展现出意外的优势。比如在需要模型自主探索的创意任务中，强制性的中间推理步骤反而可能限制模型的发挥，简单的指令引导反而给了模型更大的探索空间。

显式思维链：让推理过程可追溯

2023年以来，一个新的研究方向逐渐兴起：不是把思维链藏在prompt里，而是训练模型显式地输出推理过程。

OpenAI在GPT-4的技术报告中提到，他们专门构建了包含”思维过程”的训练数据集，用于提升模型的推理可解释性。Anthropic的Claude则采用了类似思路，在RLHF训练阶段就让模型学会分解复杂问题。

这种方法的优势在于：推理过程本身成为可审计、可纠错的独立模块。当模型给出错误结论时，研究者可以追溯到具体的推理步骤进行修正，而不是像黑箱一样只能整体重训。

思维链不是银弹：边界与局限

计算成本翻倍增长

思维链的最大代价是计算资源。以一个需要3步推理的问题为例：传统方式只需要1次前向传播，而链式思维需要3次（每步一次），如果使用self-consistency等集成方法，还可能需要生成多个推理路径进行比较。

在实际部署中，这意味着延迟增加和成本上升。根据估算，在同等精度要求下，启用完整思维链的API调用成本可能是普通调用的2-4倍。对于延迟敏感的实时应用场景，这个开销往往是不可接受的。

并非所有问题都需要”想太多”

思维链在复杂推理任务上效果显著，但简单的事实查询、情感分析、文本分类等任务，使用思维链反而可能引入不必要的噪声。

一个典型的反面案例是：”《哈利波特》的作者是谁？”这个问题直接回答”J.K.罗琳”即可，强制拆解成”哈利波特是一部小说→小说有作者→需要查找作者信息→答案是J.K.罗琳”反而显得冗余。

更重要的是，某些创造性任务反而会被思维链束缚。当模型被强制要求”一步一步思考”时，它可能会过度优化推理的”正确性”，而牺牲掉答案的多样性和创意性。

推理真实性存疑

一个更根本的问题是：思维链产生的推理步骤，是模型”真正思考”的过程，还是另一种形式的”编造合理化”？

研究者发现，模型有时会生成看似合理但逻辑错误的中间步骤，最终得出正确答案；有时则相反，中间推理完全正确，却因为某个微小的计算错误导致答案错误。这说明思维链生成的推理过程，并不完全等价于”模型的真实思考”。

这个问题催生了”思维骨架”（Skeleton of Thought）等新技术的探索：让模型先生成推理框架，再填充具体内容，试图让整个过程更加可控和可验证。

写在最后

思维链技术从提出到大规模应用，不过三年时间。它揭示了一个重要事实：AI的”智能”很大程度上取决于我们如何引导它展示能力，而非单纯扩大模型规模。

未来，思维链的发展将沿着两条主线展开：一是效率优化，降低推理成本，让这项技术惠及更多场景；二是与多模态、Agent架构深度结合，成为AI解决复杂问题的基础能力。在这个过程中，理解思维链的边界与局限，与理解它的优势同样重要。

整理自 公开资料 | 2026年06月06日