封面 · 快一点还是想深一点:读懂 AI 大模型的推理等级

同一个问题,为什么有时秒回、有时要想半天

如果你经常用 ChatGPT 或 Claude,大概遇到过这种反差:问它“今天北京穿什么衣服合适”,文字几乎是秒弹出来的;但把一段百来行的报错代码丢过去,或者让它做一份跨部门的项目排期,界面上就会出现一个闪烁的“思考中”提示,等上十几秒甚至更久才开始输出正文。

这并不是网速变慢了,而是大模型在回答前,先在后台打了一遍“草稿”。

早期的大模型拿到问题后,往往是单次直出——想到哪写到哪,没有验算、也没有推翻重来的机会。遇到稍微绕一点的逻辑题或复杂的代码漏洞,第一反应很容易出错。为了解决这个问题,现在的主流大模型普遍引入了内部推理机制:在吐出最终答案前,先生成一段内部思考过程(即推理 token),用来拆解问题、尝试不同解法、检查中间结果。

问题在于,并不是每件事都值得“深思熟虑”。让人做一道 1+1,没人需要列竖式;让 AI 把一句英文翻译成中文,如果也先推理三千字,除了白白浪费时间和算力,对结果没有任何帮助。

于是,各家模型都提供了一个调节思考深度的旋钮——推理等级(effort)。它的核心逻辑很直观:

  • 等级调低:模型少打草稿甚至不打草稿,追求响应速度更块、消耗的 token 更少、花费更低。

  • 等级调高:模型会在后台把问题想得更透彻、检查更多分支,换取更高的准确率和回答质量,代价是等待时间变长、账单变贵。

对于普通网页端用户,这个旋钮通常表现为界面上的“思考模式”滑块或下拉菜单;而在开发者调用的 API 里,它则是一个可以直接写入代码的参数。OpenAI 和 Anthropic 是目前把这套机制做得最细致的两家,但它们的设计思路却有不小的差异。


单次直出 vs 先打草稿再回答

OpenAI 的做法:effort 档位加独立的 pro 模式

在 OpenAI 的体系里,无论你是在网页上用 ChatGPT,还是通过代码调用接口,都是在和同一套推理梯度打交道,只是名字略有不同。

如果你用的是 ChatGPT 网页版或客户端,在模型菜单附近的 Thinking(思考)滑块里,可以看到从快到慢的几个选项:

  • Instant:几乎不额外停顿,适合日常随手提问。

  • Medium:标准思考深度,日常默认档位。

  • High / Extra High:延长思考时间,用来啃硬骨头。

  • Pro:调用更高规格的 Pro 模型配置,专门对付极难的任务和长流程工作。

如果你进一步去翻 OpenAI 的推理模型文档,就会看到这套滑块背后的原貌。在官方主推的 Responses API 中,控制思考深度的参数叫 reasoning.effort,从低到高一共细分为 none、minimal、low、medium、high、xhigh 和 max 等档位。

需要注意的是,不是所有模型都支持全部档位。比如某些主打深度推理的模型(如 GPT-6 Astra 或 GPT-6.1 Sol)干脆不支持把推理关成 none,强行传参会直接报错;而更轻量的模型则允许降到 none,彻底跳过推理环节以换取极致的低延迟。大多数通用推理模型如果不填这个参数,默认会停在 medium——这是官方在速度、成本和聪明程度之间找好的平衡点。

除了调节 effort,OpenAI 还在部分主力模型(如 GPT-5.6 和 GPT-6 系列)中单独拆分出了一个维度:推理模式(reasoning.mode),可选 standard(标准)或 pro(专业)。

很多刚接触的人容易把“调高 effort”和“开启 pro 模式”混为一谈。在 OpenAI 的设计里,mode 和 effort 是互相独立的两个开关:mode 决定的是底层采用标准执行还是投入更多算力的 Pro 级执行,而 effort 决定的是在该模式下模型花多少心思去推理。你可以用标准模式配 high 等级,也可以在遇到真正棘手的系统架构故障时,把 mode 设为 pro,同时指定一个合适的 effort。

在代码里调用这套设置非常简单,只需要在请求里加上一个 reasoning 字段:

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6-astra",
    reasoning={
        "effort": "medium",  # 可选 low / medium / high / xhigh / max 等
        "mode": "standard"   # 难题可改为 "pro"
    },
    input="请帮我检查这段数据库迁移方案可能存在哪些失败风险。"
)

print(response.output_text)

OpenAI:mode 与 effort 是两个独立开关

Anthropic 的做法:effort 是一种信号,不是硬上限

再看 Claude 背后的 Anthropic。它同样用 effort 这个词来控制模型的投入程度,但在底层逻辑上,Anthropic 走了一条更强调“模型自己看着办”的路线。

在 Claude 的接口中,你通常要和两个概念打交道:一个是 thinking(思考配置),另一个是 output_config.effort(投入等级)。

在较新的 Claude 模型上,默认的思考模式叫做 自适应思考(adaptive)。也就是说,Claude 拿到你的每一句话时,会自己先掂量一下难度:如果只是问个简单事实,它可能直接跳过思考框,秒回正文;如果发现是一道多步数学题或复杂的代码调试,它才会自动开启思考步骤。

既然模型自己会判断,那 output_config.effort 是干什么用的?

在 Anthropic 的 Effort 官方指南中,官方对这个参数有一个非常关键的定义:effort 是一个行为信号(behavioral signal),而不是严格的 token 预算上限。 它提供 low、medium、high、xhigh 和 max 五个档位,但它管的不只是“思考框里写多少字”,而是作用于模型生成的所有输出 token——包括最终给你的文字回答、调用外部工具时的参数说明,以及后台的思考过程。

这带来了两个很有意思的特性:

  1. 低档位遇到难题照样会思考。 哪怕你把 effort 设成了 low,只要扔给 Claude 的问题足够难,它依然会启动思考过程,只是想得比 high 档位更简略、更克制。反过来,哪怕你设成 xhigh 或 max,在连续调用工具的多轮对话里,如果某一步只是简单处理一下工具返回的结果,Claude 也可能觉得没必要多想,直接跳过思考。

  2. 调低档位会让工具调用更干脆。 当 effort 设为 low 时,Claude 不仅内部想得少,在调用外部搜索或执行代码工具时,也会倾向于少说废话、把多个操作合并成更少的调用次数,直奔主题;而设为 high 时,它更愿意在动手前先解释计划,结束后再写一份详尽的总结。

在默认档位上,Claude 的大多数模型默认停在 high(愿意多花 token 换取好结果),而像 Claude Opus 5.5 和 Haiku 5.5 则默认设为 medium。调用时的写法同样很直观:

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=16000,
    thinking={"type": "adaptive"},
    output_config={"effort": "medium"},  # 可选 low / medium / high / xhigh / max
    messages=[
        {"role": "user", "content": "对比一下微服务架构和单体架构在百人团队中的利弊。"}
    ]
)

如果你觉得 Claude 在某个档位下还是太爱“钻牛角尖”,官方建议优先把 effort 往下降一档,而不是急着在提示词里写“不要思考,直接回答”——因为在实测中,纯靠提示词去压制高档位模型的思考欲,往往并不稳定。


Claude 的自适应思考:effort 是信号不是上限

按场景选档位:一张对照清单

了解了原理,实际干活时到底该怎么选?无论是用网页版滑块,还是在代码里配参数,你都不需要每次靠猜。按照任务的真实复杂度,可以把日常使用划成四个梯度:

推理档位

速度与开销

典型适用场景

具体例子

none / low

(ChatGPT: Instant)

极快、最省钱

意图分类、信息抽取、简单翻译、日常闲聊、固定格式的常规改写

从五百封客服邮件里提取订单号和情绪标签;语音助手的实时问答

medium

(ChatGPT: Medium)

速度、成本与质量的平衡点

大多数日常工作流、带工具调用的常规编码、数据整理、文档起草

根据产品需求写一个标准功能模块;整理会议纪要并列出待办事项

high

(ChatGPT: High)

响应变慢、token 消耗明显增加

多步逻辑推理、复杂 Bug 排查、深度方案规划、需要严密遵循复杂指令的任务

排查一段毫无头绪的并发死锁代码;对比三种技术迁移方案的潜在风险

xhigh / max

(及 OpenAI pro 模式)

耗时最长、开销无拘束或极高

超长周期的 Agent 自动编程、深度安全与代码审计、探索性极强的前沿难题

让 AI 代理独立重构整个项目的底层模块(耗时数十分钟);全量代码库安全漏洞深挖

在实际使用中,有一条非常省钱的经验法则:把 medium(或模型默认档位)当作基准线,按需上下微调,对 xhigh 和 max 保持克制。

对于绝大多数任务,high 档位已经能榨出模型绝大部分的聪明才智。再往上调到 xhigh 或 max(尤其是解除 token 消耗束缚的 max),等待时间和账单往往会成倍增加,但换来的质量提升却未必明显;在一些原本就不太需要深度推理的结构化输出任务上,设得太高反而容易让模型“想太多”。只有当你真正对比过结果,确认高出的那一点准确率确实值得多等几十秒、多花几倍的钱时,才值得把旋钮拧到最右边。


四档推理等级与适用场景

容易踩的坑

第一次手动调节推理等级时,有几个看不见的机制很容易让人吃亏,不管是普通用户看额度,还是开发者看账单,都值得提前留心。

第一,看不见的“草稿纸”也是要算钱、占地方的。
模型在后台生成的推理 token,虽然在 API 默认返回或界面上往往被隐藏或只显示一段摘要,但它们实实在在地消耗了算力。OpenAI 和 Anthropic 的计费规则完全一致:所有推理 token 一律按输出 token(output tokens)的价格计费,并且计入单次请求的最大输出长度限制(max_output_tokens 或 max_tokens)。

这就带来了一个新手极易踩中的坑:如果你把推理等级调到了 high,却顺手把 max_output_tokens 设成了很小的数字(比如 500),模型可能光在后台打草稿就用光了这 500 个 token 的额度。结果就是请求直接中断,你没有拿到任何可见的回答,但草稿的钱已经扣掉了。为了避免这种“花了钱却交白卷”的情况,OpenAI 官方明确建议在刚开始测试推理模型时,至少预留 25,000 个 token 的空间;而在 Claude 上跑 xhigh 或 max 级别的复杂任务时,预留 64,000 甚至更高也是常规操作。

第二,推理等级管的是“想多深”,不管“话多密”。
有些人为了让 AI 回答得简短一点,会把 effort 调成 low。虽然低档位确实会让模型更干脆,但两家官方文档都提醒过:推理等级主要控制的是内部思考的体量,并不能稳定控制最终可见回复的字数。如果你需要一个思考极其严密、但最终只输出三句话结论的回答,正确的做法是把 effort 设为 high,同时在提示词里明确要求“只输出三条核心结论”,或者在 OpenAI 接口中配合调整 text.verbosity(文本详略度)参数。

第三,在长对话中途频繁换挡,可能会破坏缓存。
如果你在做多轮长对话(比如丢了一整本书或整个代码库进去反复提问),平台通常会启用提示词缓存(Prompt Caching)来帮你省钱提速。但在顶层请求参数里直接修改 effort,有时会导致之前的缓存失效,触发重新计费。如果确实需要在同一段长对话里“难题深想、易题快答”,可以留意两家提供的会话中途调档机制(如 OpenAI 的 configuration_update 或 Anthropic 处于测试阶段的单条消息级 output_config),这样既能灵活换挡,又能保住缓存。

最后提醒一句:AI 厂商更新模型家族和档位规则的速度非常快。同名的 medium 或 high 在新一代模型上的思考量可能经过了重新校准,个别新模型也会取消对 none 或关闭思考的支持。真正把某个档位写进固定工作流之前,花两分钟看一眼当前模型对应的最新官方文档,永远是最稳妥的做法。

三个看不见的坑

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。