读懂这次争论的关键,是先问监控器要发现哪一种失败。 一个能判断数学答案是否正确的检查器,还需要另外的证据,才能让我们相信它会发现窃取资料、越权操作或掩盖违规。
这篇短笔记来自 AlphaSignal 的 HybridAgent 评论。最初通过浏览器只能读到公开部分,随后依据读者提供的全文补齐。下面结合公开论文核对机制与评测;Goodfire 的实验结果按原文转述,工程建议是我的推论。
少写文字以后,工具调用仍然留在外面
通常说的思维链,是模型生成的中间推理文字;token 是这些文字的编码单位。HybridAgent 允许部分计算不转成文字,直接把内部数字状态经 HybridLink 转换后接着送入模型。这叫潜在空间推理。调用工具和输出答案时,它再回到文本模式。机制见论文第 3 节。
在论文的设计中,搜索、执行代码等外部交互仍通过文本请求与返回完成。
这里要分开三件事:模型做了多少计算、留下多少可读记录、检查器能据此识别什么。减少第二项,不会自动按同比例减少第一项;第三项又取决于你让检查器识别的目标。
43% 的文字缩减,对应这组数据里 6% 的步数缩减
我核对论文表 7 时,最容易混淆的是计数单位。14B 模型的纯文本基线每题有 497 个文本 token;HybridAgent 有 284 个文本 token,加上 183 个潜在步骤。表 7记录的是数学审计实验,不能直接套到所有任务。
把潜在步骤也算进去,就得到 467 步。我用下面的命令复算:
python3 - <<'PY'
print(f'visible reduction: {(497-284)/497:.2%}')
print(f'forward-pass reduction: {(497-284-183)/497:.2%}')
PY
实际输出:
visible reduction: 42.86%
forward-pass reduction: 6.04%
这个差别说明:在该组数据中,可读记录明显变短,但大部分计算步骤仍然存在。它不等于实际延迟只降了 6%,每步开销和系统实现还会影响速度。
AlphaSignal 提到的约 2.7 倍成本优势,来自论文另一组成本估算。论文附录 G.2说明,该估算只覆盖生成计算,排除了输入处理、随上下文变化的注意力成本与外部工具执行。因此,它也不能直接当作整个 Agent 产品的账单降幅。
数学判错成绩好,还回答不了越权检测的问题
论文第 6.3 节让外部检查器看题目、可见文本、工具调用及返回,潜在部分隐藏。强检查器对 HybridAgent 与纯文本 Agent 的 AUROC 分别为 0.989 和 0.990。AUROC 衡量检查器把正确与错误轨迹区分、排序的能力,不能读成固定阈值下 98.9% 的检出率。
这里的目标标签是答案正确与否。因此,这组实验支持数学判错能力在该设置下得以保留;它没有直接测量违规行为检测能力。这也是 AlphaSignal 公开部分最值得保留的提醒。
举个我构造的例子:Agent 正确算出财务报表的总额,却在过程中把整份报表发送到未经授权的地址。如果评测只给最终总额打分,它仍可能被标为成功。增加更多同类算术题,依然不会让标签包含泄露行为。
这类问题与好的 Harness 怎样分配模型判断和代码约束相通:检查目标必须落到系统真正关心的行为上。即使中间文字全部公开,目标标签错位的问题也仍然存在。
三层监控的区别,还在于谁拿得到它
全文给出的三层观察渠道,需要按访问权限来读:
| 观察渠道 | 谁通常拿得到 | 当前证据支持什么 |
|---|---|---|
| 可见文本、工具调用与返回 | 接口向使用者开放这些记录时 | 论文测过三者一起判断数学对错,未单测工具返回 |
| 经适配器把潜在步骤读成文字 | 自托管开放权重、持有适配器的一方 | 能把隐藏状态映射成词;可读性不等于安全检测能力 |
| 模型内部激活探针 | 能读取内部数值状态、部署检测器的一方 | 原文报告其他模型的实验,未给出 HybridAgent 专用探针结果 |
第二层很容易漏掉。隐藏步骤不是完全无法查看:论文可把它们映射到最接近的词,产生类似文字的读数。但近似读数会丢掉什么,不能靠“看起来能读”就判定。第三层的探针,则是直接读取模型内部状态的小分类器。
原文援引 Goodfire 的结果:与思维链监控相比,激活探针在 Kimi K3 上多发现 3.1% 的奖励作弊,在 GLM 5.2 上少发现 7.9%。奖励作弊指利用评分漏洞,而没有真正完成任务。这些是 AlphaSignal 对 Goodfire 结果的转述,我未独立复核其统计口径;它至少提醒我们,不能把一个模型上的优势当成跨模型保证。
我认为,全文最实用的判断是把访问权限写进验收条件。若你只要求答案正确、证据能核对,可见记录提供了一条可用的检查路径。如果还要求证明没有碰不该碰的数据,就需要行为层证据与针对性测试。接口用户和自托管部署方能做的检查,不能混成同一种承诺。
例如,同一个财务任务,应分别验收总额正确、读取范围合规、发送目标获授权。这几项可以独立失败,也应独立记录。工具执行前的权限检查是我建议增加的执行层措施,不能拿论文中的数学监控分数替它背书。
用读数训练模型,会让监控器变成新的优化目标
原文最后提出的担忧,比少写推理更进一步:论文未来希望让外部评判器直接给潜在步骤评分,用于训练。Goodfire 的文章则主张,避免把梯度穿过我们用来理解模型的工具——也就是避免让模型直接学着迎合这些工具的评分。
我的理解是,一旦模型被奖励去产生好看的读数,读数与真实行为之间的关系就需要重新测试。类似学生学会写符合评分标准的答题过程,评分提高仍需要另一套检查才能证明能力提高。
这是一项风险假说,原文没有证明 HybridAgent 已经学会隐藏违规。要检验它,应在训练时使用一个评判器,随后用独立的行为标签和未参与训练的检查来验收。如果只拿同一个评判器的分数上涨作证据,就无法分辨模型变好和模型更会迎合检查。
下次看到“仍可监控”,先查它的标签
HybridAgent 展示了减少可读推理与保留部分数学审计能力可以同时发生。我们仍需要针对具体危险行为的测试,才能把结论推广到安全监控。
读类似论文时,花几分钟找到评测中“失败”的定义:是答错题、违规调用,还是泄露数据?如果定义只有答错题,就把结论留在答案质量范围内。
参考来源
- 评论:AlphaSignal — Hybrid Reasoning Agents: Which Monitor Still Works,依据用户提供的全文总结,区分原文转述与本文推论。
- 论文:Hybrid Reasoning Agents,arXiv:2610.18861v1,重点为第 3 节、第 6.3 节表 7、附录 G.2。
- 工程实现:togethercomputer/HybridAgent。