树状思维 ToT：探索与回溯的深度推理框架

什么是树状思维（Tree-of-Thoughts）

树状思维（Tree-of-Thoughts，简称 ToT）是一种用于大型语言模型的高级提示框架，它将推理过程构造为一棵搜索树。与传统的“链式思维”（Chain-of-Thought）不同，ToT 允许模型在推理的每一步同时生成多个可能的分支，主动评估每个分支的前景，并在必要时进行回溯。这种设计让模型能够系统性地探索复杂任务中的多种可能性，从而在需要规划、数学证明或创意写作等场景下显著提升表现。

核心思想在于：思考不是一条直线，而是一棵不断生长、修剪和回溯的树。

为什么需要树状思维

传统链式思维（CoT）将推理表达为一条线性路径：“步骤1 → 步骤2 → 步骤3”。这种方式存在两个根本局限：

1. 缺乏多样性：一旦中间步骤出错，整个推理链都会崩塌，无法自行纠正。
2. 无法比较权衡：不同策略或想法的优劣无法被显式比较，模型只能盲目跟随一条路径。

树状思维通过引入广度探索与深度回溯，让模型像人类一样：

• 先发散出多个候选思路（“这个数学题可以因式分解，也可以试值，还可以绘图…”）。
• 对每个思路进行自我评估（“试值法看起来计算量太大，效率低”）。
• 保留最有希望的路径，并在受阻时回退到上一个决策点，尝试其他分支。

这使得 ToT 特别适合解决需要策略性思考、多步骤规划或创造性解决方案的任务。

树状思维的核心机制

思维节点：推理的基本单元

在 ToT 中，每一个“想法”都是一个思维节点。它可以是：

• 一个中间算式
• 一段草稿文字
• 一个部分完成的计划
• 一个需要验证的假设

每个节点都包含生成该思维所用的提示、其内容以及一个可选的评估分数。

思维生成器：如何长出分支

给定当前状态，思维生成器（Thought Generator）负责产生若干个候选的后继思维。这可以通过两种主要方式实现：

• 独立采样：在同一上下文下多次调用语言模型，得到 $k$ 个不同的输出。
• 顺序提议：让模型一次只生成一个后续步骤，并不断基于已有内容提出新可能，更适合需要严格依赖前文的场景。

状态评估器：为每个想法打分

要让模型决定哪些分支值得深入，必须引入评估器（Evaluator）。评估器可以用自然语言提示模型进行自我评估，例如：“请评估这个解题思路正确、高效且清晰的程度，给出1-10的评分并说明理由。”也可以让模型直接做出“确定/可能/不可能”的分类。

评估分为两种策略：

• 独立评估：针对单个状态给出价值分数。
• 比较评估：同时给模型展示多个候选状态，让其投票选出最佳，提供更细粒度的排序。

搜索算法：BFS 与 DFS

ToT 框架支持不同的搜索策略，根据任务特性选择：

• 广度优先搜索（BFS）：在每一层保留 $b$ 个最有希望的分支，逐层扩展。适合需要全局平衡、不易出现深度过大的任务。
• 深度优先搜索（DFS）：沿着一条路径深入探索，直到无法继续或达到目标，然后回溯。适合解空间深度较大、但分支不爆炸的场景。

在实际提示时，通常会限制树的宽度（$b$）和深度（$d$），以控制计算成本。

树状思维的典型工作流程

以下是 ToT 解决一个问题时的标准流程，以“24点游戏”为例：

1. 初始化根节点：输入问题“用4, 5, 6, 9四个数字通过加减乘除得到24”。
2. 生成第一层思维：模型同时提出多种初始操作，例如：“9-6=3”，“4×6=24”等，形成多个子节点。
3. 评估与剪枝：对每个子节点打分。如“4×6=24 剩下5和9无法直接得到24，可能不可行”，该分支被赋予低分并剪去。
4. 选择与扩展：在保留的高分分支上继续生成下一步操作，例如从“(9-6)=3”出发，生成“3×5=15”，“3+4=7”等。
5. 回溯与终止：若某分支走到死胡同，算法回溯到上一节点，尝试其他备选。当任一分支成功获得24，搜索结束并输出完整步骤。

整个过程用结构化的提示实现，用户只需将“任务描述、思维生成指令、评估指令、搜索宽度与深度”编排进提示词即可。

如何构建一个 Tree-of-Thoughts 提示

构建 ToT 提示关键在于模块化设计。通常需要三个核心组件：

组件一：任务描述与元指令

清晰定义任务目标，并告知模型它将要进行多分支思考和自我评估。

你将解决一个需要多步推理的问题。对于每一步，请同时生成3个不同的可能思路。
在生成思路后，对每一个思路进行简短评估（1-5星），并从中选出最优的一个继续。
如果后续发现最优思路不可行，请回溯到上一步，尝试第二优的思路。

组件二：思维生成提示

指导模型如何生成多个候选。可以要求模型以列表或特定格式输出。

请给出当前状态的3个可能下一步操作。每个操作要独立且合理。
用“思路A：”“思路B：”“思路C：”分别表述。

组件三：评估与选择提示

让模型自己充当判断者。常用的策略是要求模型给出分数及理由再选择。

严格评估以上每个思路的可行性、效率和最终解决问题可能性。
为每个思路打分1-5，并解释原因。最后明确指出：“因此，我选择思路X继续。”

将上述组件串联，并在循环中让模型基于前一状态更新上下文，即可实现 ToT 效应。许多高级提示工具（如 LangChain）已内置 ToT 链，但手动构建同样可行且透明。

适用场景与局限

适用场景：

• 复杂的数学或逻辑谜题（如数独、24点、规划问题）
• 创意写作大纲设计（多线剧情探索）
• 多步决策任务（旅行路线规划、资源配置）
• 需要“灵光一现”的开放式问题

不适用或需谨慎的场景：

• 简单的事实性问答（过度设计，开销大）
• 推理深度极深但宽度极窄的任务（可能不如直接 CoT 有效率）
• 实时性要求极高的应用（多次 LLM 调用产生延迟）

从链到树：思维框架进阶之路

对于希望深入理解提示工程的人来说，掌握 ToT 是从“与模型对话”跨越到“教会模型如何思考”的关键一步。当你面对一个需要多种方案权衡、试错才能解决的难题时，尝试用树状思维构造你的提示——让模型自己长出那棵通往答案的树。

实践建议

1. 从小宽度开始：初始尝试时，宽度设为3，深度设为3。观察模型表现再调整。
2. 评估要具体：避免模糊评估提示，明确告诉模型依据哪些标准（正确性、效率、简洁性）打分。
3. 记录回溯痕迹：让模型输出它否决的分支和原因，有助于调试和理解推理质量。
4. 结合工具：若任务涉及确切计算，可让模型在评估时调用计算器验证，避免算术幻觉。
5. 人机协同：初期可让人类参与对关键分支的判断，将优质决策逻辑教给模型。

树状思维不仅是提示技术，更是一种将经典人工智能的搜索方法与现代语言模型能力融合的范式。现在就尝试用 ToT 重构一个你熟悉的复杂提示，体验从“线性猜测”到“系统性推理”的蜕变。