AI 技术深度解读 · Agent 推理新架构

静默思考，出声做事：斯坦福「混合推理智能体」把 Agent 成本砍掉了七成

为什么值得读： 它第一次让「不说话的思考」（latent reasoning）真正接上了工具调用， 解决了一个长期二选一的难题——效率 vs. 可控。性能还反涨 10%。 论文时间：2026 年 10 月 13 日发布（arXiv 2610.18861） ； 作者：Stanford、Together AI、UIUC、Meta；代码已开源。

今天的 AI 智能体有一个昂贵的坏习惯：每走一步都要「先把心里话写出来」——先用文字写出完整的推理链条，再去调用搜索、运行代码。那些中间文字既要逐 token 解码，又全都进账单。而另一条技术路线「潜隐推理」（latent reasoning）则反过来：模型直接在连续的隐藏向量空间里思考，快得多，但代价是「想完就出不来了」——连续向量没有现成的路径去调用工具，人类也看不懂它在想什么。 两条路线各瘸一条腿。一篇 10 月 13 日登上 arXiv 的论文提出第三条路：HybridAgent ， 在同一次生成过程里动态切换「静默思考」和「出声做事」两种模式——对内思考在潜隐空间默默进行，只在需要调工具或给答案时切换回文字。

一、核心机制：HybridLink，一座不到千万参数的小桥

整个架构的关键是一个叫 HybridLink 的轻量模块。它本质上是一个残差适配器： 把模型最后一层的隐藏状态 h 映射回输入词嵌入空间，即 e = h + W₂·σ(W₁h) 。 因为残差连接保留了隐藏状态原有的语义，它只需要「对齐分布差异」，而不是从零学一个投影—— 参数量约 2d²，对于一个 40 亿参数的模型大约只有 1000 万参数 。

工作流是这样的：智能体在文字模式下像普通 LLM 一样逐 token 生成，直到输出一个特殊标记 <latent>，便进入潜隐模式。此后每一步的隐藏状态都经由 HybridLink 直接作为下一步的输入，完全跳过「解码成词再嵌入」的昂贵往返，实现序列级的连续递归思考。 当隐藏状态的语义与退出标记 </latent> 的词嵌入最接近时， 智能体切回文字模式，去调用工具或输出结果。每段潜隐思考的长度和切回频率都由模型自己动态决定， 而不是预设好的。

另一个巧妙设计是连续工作记忆 ：混合轨迹里文字、潜隐向量、工具观察结果三者交织， 无法用普通分词重建上下文。HybridAgent 干脆把 Transformer 各层积累的 KV 条目直接作为跨轮次记忆， 下一轮从记忆断点处恢复生成，保证混合上下文无损延续。

二、怎么训练：先学会「配合」，再学会「取舍」

作者没有从零预训练，而是把标准 Agent 的后训练流水线改造成两段式：

• HybridSFT（混合监督微调） ：先把现有文字版 Agent 数据集自动标注成混合轨迹—— 由专家模型判断和目标模型自身的预测熵共同决定哪些推理步骤可以「静默」，只保留关键的工具交互和可审计步骤为文字。 然后是分阶段训练：先教骨干模型何时进出潜隐模式（特殊标记），再冻结骨干、对齐 HybridLink； 最后用「自条件训练」解决训练-推理失配——第一遍教师强制得到自己的潜隐输入，第二遍把真实嵌入替换成自己生成的潜隐输入， 让模型真正学会「读懂自己写的静默思考」。仅这一步就比只做对齐平均提升约 30.5% 。
• HybridRL（混合强化学习） ：标准 PPO/GRPO 假设每个位置都有 token 级似然，但潜隐位置是连续向量， 重要性比率根本没定义。作者给出「混合策略分解」命题：策略采样只发生在文字位置， 因此只在文字位置做似然比更新就足以优化整条混合轨迹；配合「精确 rollout 回放」（记录潜隐输入， 更新时单次前向复现整条轨迹、只重算文字位置似然），经典 RL 目标函数就得以适配。 奖励只看答案正确性、格式和多工具使用，不给模式选择设任何显式奖励 —— 让模型自己在训练中学会「何时静默、何时出声」。训练动态显示：随着步数增加， 智能体把越来越多推理搬进潜隐模式，同时工具调用能力反而在增强。

三、实验成绩：小模型跑赢大模型，还便宜得多

实验用 Qwen3-Base 的 4B、8B、14B 三个尺度，覆盖 11 个基准：数学（AIME 25/26、MATH500）、 知识密集推理（GPQA-Diamond、MedQA、MuSiQue），以及高难度的 Agent 推理（GAIA、Humanity’s Last Exam、 WebWalker、SealQA、DeepSearchQA）。对比对象包括 GPT-5.6-Luna、Kimi-K3、DeepSeek-V4.1-Flash 等前沿智能体， 以及 ReAct、Search-o1 等框架和 Coconut、SoftThinking 等纯潜隐方法。

值得注意的是消融实验给出的因果证据：用随机 token 替换潜隐向量后，MATH500 准确率从 84.6% 暴跌到 41.2%； 而「禁止进入潜隐模式、纯文字推理」反而只降到 80.4%——说明潜隐思考不是装饰，模型确实在因果地依赖 它。 并且潜隐步骤可被解码成人类可读的「伪文字」，保持与周围文字推理和工具调用的语义一致， 解决了纯潜隐方法「黑箱不可审计」的硬伤。

实验细节：HybridSFT 用 5.4 万条自动标注的混合轨迹，HybridRL 用 1.2 万条深度推理样本加 1 千条搜索样本； 工具只有两种——沙盒 Python 解释器和实时搜索引擎（每轨迹最多调用 10 次）。 所有实验在 H100 上跑 5 个随机种子。

四、为什么这件事重要：效率与可控第一次兼得

把 HybridAgent 放进更大的技术脉络里看，它的意义不止是「省了 70% 的钱」。 过去一年，从 Coconut 到 Pathway 的无词推理、Mostik 的「机器间心灵感应」， 整个行业都在试着把自然语言从 Agent 的内部计算中「减负」——因为每一次把隐藏状态解码成词， 都是一次信息压缩和一次计费。但所有这些尝试都卡在同一个地方：工具是文字世界的公民 ， 潜隐向量调不动它们。

HybridAgent 的回答是：不取消文字，而是给文字「定岗」——文字只负责对外接口（工具调用、人类审查）， 内部思考全部静默化。这带来三个连锁效应：第一，token 账单和延迟同时下降，而性能不降反升， 说明大量中间文字本来就是冗余的；第二，潜隐思考可被解码回伪文字，审计能力没有丢失； 第三，它可以从任何标准预训练 LLM 改造而来，不需要重训一个新底座，落地门槛很低。

当然，论文也有诚实的一面：作者承认当前主流推理引擎尚不支持多轮混合生成，他们自己扩展了训练和推理基础设施； 而且摘要里给出的都是区间数字，各基准的具体数值和「前沿基线」的具体名单没有在正文摘要中点名， 独立复现还有待社区验证。但 45 页正文、12 张图、开源代码，诚意是足的。

一句话总结：Agent 的未来可能不是「说得更多」，而是「说得更少、做得更多」。 HybridAgent 用一座千万参数的小桥，让模型在心里默默算完、只在动手时开口—— 这是今年 Agent 推理架构上最值得细读的一篇论文。

原文链接：Hybrid Reasoning Agents — arXiv 2610.18861（HTML 全文） 开源代码：github.com/togethercomputer/HybridAgent 交叉信源：WebProNews（10-19）、CryptoBriefing（10-14）、AI Weekly、AlexTech（10-16）、Elvis Saravia 本周顶刊选读 —— 关键数据（10.4% / 35.5–54.7% / 1.8–2.6× / 2.7–3.7×）多方一致。

解读整理：Muse · 2026-10-20 · 内容为基于论文原文的中文重写解读，非原文翻译