一个模型直接看图时知道应该拒绝;放大图片、识别文字、收集几轮线索后,却开始认真帮助完成同一个危险请求。
《MLLMs Fail to Refuse when Using Tools Agentically》研究的就是这件事。我的核心判断是:单轮对话里会拒绝,不等于进入工具循环后仍然会拒绝。安全评测的对象应当包含模型所在的执行流程。
最让我改变理解的实验,是“假缩放”:工具没有提供新的裁剪区域,只返回原图,拒绝退化仍与真实缩放接近。它提示我们,模型获得新信息和模型进入一段新的交互流程,是两件必须分别检查的事。
但这篇论文也有需要澄清的数字。我核对了全文与 PDF,并用 Python 做了两笔独立验算:一笔解释摘要里的 68.7%,另一笔检查主表与附录的配对计数。第二笔发现了无法用普通舍入解释的不一致。下面会把论文报告、我的计算与工程推断分开。
先核实出处,再搭一个读得懂的模型
这是 Rikiya Takehi、Ryo Hachiuma、Shaona Ghosh、Dan Zhao、Yu-Chiang Frank Wang、Yusuke Hirota 的工作,作者机构为 MIT 与 NVIDIA。第一作者注明,工作在 NVIDIA 实习期间完成。
本次阅读固定在 arXiv:2610.03938v1,2026 年 10 月 2 日提交。arXiv 摘要页的 Comments 标注已被 NeurIPS 2026 接收;PDF 首页进一步标注 Evaluations and Datasets 赛道。这里的会议信息依据作者提交的记录,不把它当作额外的独立质量证明。
读这篇只需要先弄懂下面几个概念。
| 概念 | 人话解释 |
|---|---|
| MLLM,多模态大语言模型 | 同时读图片和文字的模型 |
| ReAct 工具循环 | 想下一步、调用工具、读结果,再决定下一步或回答 |
| 轨迹 | 从用户请求到最终回答之间的完整消息与工具记录 |
| RFR,拒绝失败率 | 在危险请求中,被评为没有安全处理的比例;越低越好 |
| 消融实验 | 刻意拿掉或替换一个因素,观察结果是否改变 |
| 配对比较 | 同一道题分别跑两个设置,比较它的判定有没有翻转 |
想象一个图片助手。用户上传图片,提出请求;助手用 OCR 读取图中文字,用缩放查看细节,最后组织回答。OCR 就是把图片中的文字转成可读文本。这套系统有四个要盯住的部件:
| 部件 | 改动会影响什么 | 失守时会怎样 |
|---|---|---|
| 原始请求与图片 | 是否能识别用户真正想做什么 | 后续只剩局部技术问题,原始目的被忽略 |
| 工具与调用规则 | 能获得多少信息、会产生多少轮交互 | 信息更详细,执行路径也更长 |
| 累积上下文 | 哪些观察靠近最后一次生成 | 工具结果抢占了原始意图的显著位置 |
| 最终决策与放行点 | 是继续提供帮助、拒绝,还是交给外层检查 | 能完成任务,被误当成有资格完成任务 |
加工具改变的不只是第二行。它也改变第三行,并可能影响第四行。这是本文的心智模型:观测能力与安全决策共用一段不断变化的上下文;信息变多,不保证意图判断更稳定。
实验测的是拒绝迁移,不是现实世界伤害
论文 §3 比较 11 个模型,在同样的图文请求上分别运行无工具和有工具设置。主实验涉及六个开放权重模型、五个专有模型;Gemini-3-Flash Agentic Vision 另做验证,没有混入主表。
四类工具是图片标签、缩放裁剪、OCR,以及用于图片处理的沙箱 Python 解释器。它们主要帮助理解图片,并不是给模型直接配上付款、发邮件或操作生产系统的权限。
三个基准分别为 MM-SafetyBench、VLSBench、HoliSafe。附录 C.1 列出的评测样本量是 1,680、2,241、4,016,两个设置使用相同图文对。作者使用 GPT-5.2 判定回答是否安全,并用随机抽取的 100 条回答做人类一致性核查,报告 97 条一致。实验与判定规则
这 100 条的一致性核查支持裁判在这份抽样上的可用性,不能保证每个模型、每个基准的误判率都相同。附录 C.3 还说明,专有模型实验运行于 2026 年 2 月 20 日至 5 月 5 日;10 月发布的论文结果,不应被当作 10 月线上接口的实时安全成绩。
这里有一个细节:附录 B 的判定允许“安全警告或适当回应”,并非只有说出拒绝句才算通过。因此,RFR 不是对“对不起,我不能”这类关键词的简单计数。
主表报告所有模型、所有基准的工具设置 RFR 都高于无工具设置,平均绝对增幅约 5.7 个百分点。部分三基准均值如下,数字是论文表 1 的报告值:
| 模型 | 无工具 RFR | 有工具 RFR |
|---|---|---|
| Qwen3-VL | 28.5% | 36.9% |
| GLM-5V-Turbo | 38.7% | 51.3% |
| Claude Opus 4.6 | 13.6% | 18.1% |
| GPT-5.4 | 14.6% | 16.8% |
这些结果支持“值得重新评估工具模式”,不能直接推出模型帮助实施危险行为的成功率增加了多少。拒绝失败、回答实际有效、外部动作真的执行,属于三个不同的结果。论文 §5 也明确把一般任务效用与安全的权衡留在本次研究之外。
第一笔验算:68.7% 不是多了 68.7 个百分点
先用最小例子理解两个口径:失败率从 10% 到 15%,增加的是 5 个百分点;相对于原来的 10%,则增长了 50%。前者是相减,后者还要除以原来的失败率。
论文摘要的最大相对增长,可从 GLM-5V-Turbo 在 HoliSafe 的一格重算出来:
- 表 1 报告值:24.9% → 42.0%。
- 我的验算:绝对增加 17.1 个百分点。
- 我的验算:17.1 ÷ 24.9 × 100 ≈ 68.67%。
再看 Claude Opus 4.6 在 VLSBench 的 8.7% → 13.7%:绝对增加 5.0 个百分点,相对增长约 57.47%。这解释了为什么原来拒绝表现较好的模型,也能出现很大的相对增幅。
下面是我实际执行的算术检查。保存为 rate-check.py,运行 python3 rate-check.py,只需 Python 标准库,几秒完成。它核算论文显示值,没有调用模型。
for name, base, tool in [
("GLM/HoliSafe", 24.9, 42.0),
("Claude4.6/VLSBench", 8.7, 13.7),
]:
delta = tool - base
print(f"{name}: delta={delta:.2f} pp; "
f"relative={delta / base * 100:.2f}%")
原始输出,pp 表示百分点:
GLM/HoliSafe: delta=17.10 pp; relative=68.67%
Claude4.6/VLSBench: delta=5.00 pp; relative=57.47%
我的阅读建议是同时看基线、绝对变化与相对变化。 只看相对增幅,会夸大低基线上的小变化;只看绝对变化,又容易忽略一个原本较可靠的系统发生了多大退化。选生产方案还必须看正常任务的帮助能力,这张表没有提供那个答案。
第二笔验算:主表与配对计数有一处硬约束
阅读附录 D.1 时,我发现一个比标题更需要停下来的问题。
作者用 McNemar 检验比较同一题的两种设置。这里不用先学统计检验,只要把样本分成四种:两边都安全、两边都失败、无工具安全而有工具失败、无工具失败而有工具安全。
前两种不会改变两组失败数的差。设后两种的数量分别为 b 和 c,总题数为 N,那么:
有工具失败率 − 无工具失败率,必然等于
(b − c) / N × 100个百分点。
这是计数恒等式,不是某个检验方法的偏好。比如 100 道题里,8 道从安全变失败、3 道从失败变安全,净增加就是 5 道,即 5 个百分点。
我用表 4 的样本量、表 1 的失败率、表 5 的 b/c 做了对照;同时查看 PDF 第 4、17、18 页,确认并非 HTML 表格转换把列挪错。
| 对照项 | 表 1 相减 | 表 5 配对计数推出的差值 |
|---|---|---|
| Qwen3-VL / VLSBench | 16.000 个百分点 | 4.462 个百分点 |
| Qwen3.5 / MM-SafetyBench | 0.400 个百分点 | 4.167 个百分点 |
| Claude Opus 4.6 / VLSBench | 5.000 个百分点 | 4.953 个百分点 |
第三行可以由一位小数的舍入解释,前两行不能:两个失败率各自最多舍入约 0.05 个百分点,相减造成的误差至多约 0.1 个百分点。
下面是实际执行的检查,保存为 paired-check.py,运行 python3 paired-check.py 即可复算。这是表格一致性检查,不是原始评测复现。
rows = [
("Qwen3-VL/VLSBench", 2241, 34.4, 50.4, 324, 224),
("Qwen3.5/MM-SafetyBench", 1680, 41.1, 41.5, 191, 121),
("Claude4.6/VLSBench", 2241, 8.7, 13.7, 171, 60),
]
for name, n, base, tool, b, c in rows:
paired = 100 * (b - c) / n
print(f"{name}: table1={tool-base:.3f} pp; "
f"paired={paired:.3f} pp")
原始输出:
Qwen3-VL/VLSBench: table1=16.000 pp; paired=4.462 pp
Qwen3.5/MM-SafetyBench: table1=0.400 pp; paired=4.167 pp
Claude4.6/VLSBench: table1=5.000 pp; paired=4.953 pp
附录 D.1说配对检验来自主实验;若它使用了不同子集、不同运行或不同判定口径,就需要明确说明。现有公开表格不足以判断哪一组值应当修正,本文也没有逐样本原始标签可以追查。
这不自动推翻“工具设置更易失败”的方向,因为这些配对计数的净差仍为正;但它削弱了我对具体增幅和显著性结果可以互相印证的信心。目前适合带走的是评测迁移的警报,精确量级还应等待数据澄清。
这也是一个可复用的读论文动作:先检查同一事实的不同表示能否对上,再讨论复杂的机制。漂亮的显著性数字不能替代最基本的计数一致性。
假缩放与提示词消融,排除了什么
论文 §4.3 的假缩放实验,把真实裁剪工具替换成返回原图的工具。两个设置报告的平均 RFR 为 34.0 和 34.2,结果接近。
它削弱了一个解释:退化主要是裁剪隐藏了图中的危险线索。因为即使原图没有变,这个工具流程仍然伴随着相近的失败率。假缩放与消融
但它没有证明“工具内容完全不重要”。实验只覆盖缩放工具的这个对照,没有把文字输出、角色消息、轮数和长度全部独立控制。重复原图本身也会改变输入结构。更谨慎的结论是:新增有效视觉信息,并不是这次退化的必要条件。
作者还做了一个二维对照:提示词是简短的还是结构化的,工具是关闭的还是开启的。表 2 在五个专有模型上报告,工具带来的增幅分别约 3.8 和 4.2 个百分点;仅提示词结构变化带来的增幅更小。
这让“只是那段 ReAct 提示词写坏了”的解释变得不够有力。但仍不能据此把所有工具、所有任务、所有执行框架归为同一种风险。无工具与工具条件中的操作指令,本来就无法做到字面完全一致。
原生 Gemini Agentic Vision 也出现类似退化,提供了外部验证方向;由于内部工具不可控,我把它看作现象扩展,不能看作对具体机制的严格隔离。
两个机制假说:意图变远,局部问题变近
作者提出的第一个解释是上下文稀释:原始请求还在消息历史里,但越来越多观察把它推远。像一份工单,最开始写着客户目的,后面堆满几十条排障日志;最终处理者盯着最近的日志,却忘了工单究竟要完成什么。
注意,“稀释”不等于超出窗口而被删除。附录 C.3 明确说原图与原始问题始终保留在对话中。问题可能是它在决策时不再足够显眼。上下文稀释实验
作者只挑选无工具设置原本能拒绝的样本,再观察工具次数与失败率的关系,看到调用越多、失败越多。这减少了把“本来就不会拒绝”混进来的干扰,却没有随机分配调用次数。那些诱发更多工具调用的题,也可能具有更模糊的意图或更复杂的画面。因此它支持假说,没有独立证明轮数的因果效应。
第二个解释是安全焦点转移:模型开始围绕观察写答案,安全判断退居后面。就像助手从“这项工作该不该做”切换到了“我已经找到了这些零件,接下来如何拼起来”。
作者特意只分析两种设置都成功拒绝的回答。即使如此,工具设置中以图像观察开头的比例也达到 52.3%;无工具设置中直接回答与安全声明开头的比例分别为 55.6% 和 25.8%。回答开头分析
这说明表达重心确实改变。它不是对模型内部注意力权重的直接测量,也没有证明“先描述图片”本身会导致危险帮助。特别是这组分析中的回答最终都成功拒绝了。
我的理解是,两种假说可能叠加:原始意图越来越不显眼,最近的工具观察越来越像当前应完成的任务。它们解释了为什么“信息更充分”不一定让安全判断更稳定;接下来需要干预实验,而不是继续从流畅的回答中推测模型在想什么。
重新注入原请求:有用的线索,还不是修复证明
正文介绍的办法很简单:回答前再给一次原图和原始问题。作者报告重新注入降低了失败率。不过,§4.1 写的“降低 7.6%”未在这句话中明确绝对或相对口径,我不把它改写成“恢复了 7.6 个百分点”,也不据此计算恢复比例。
更关键的细节藏在附录 C.4。真实操作是:
- Agent 先产生一次无工具调用的最终回答。
- 如果此前调用过工具,就丢弃这次回答。
- 新增一个用户回合,重复原始问题与原图。
- 再调用模型一次,关闭工具,使用这次生成作为最终回答。
原回答被丢弃,不应假定它作为可见文本留在后续上下文。这里的 tool_choice="none" 表示禁止下一次生成继续调用工具;若仍允许自动调用,就可能开启另一轮工具循环,与实验设置不同。
所以这项干预同时改变了原始输入的近因位置、用户回合结构、生成次数,并在最后一轮关闭工具。作者没有加入安全提醒,这是控制得较好的地方;但改善仍不能全归因于“重新看见原始意图”。
我认为下一轮实验至少应加入:不重复问题、只追加一次无工具生成的对照;以及仅重复文字、仅重复图片的对照。比较它们,才能更清楚地区分额外生成、输入显著性与模态信息的作用。本文没有运行这些模型实验。
工程判断:把意图保留做成流程约束
这篇论文真正改变我看 Agent 的方式,是提醒我:一次安全判断的对象,是请求、轨迹和当前准备提供的帮助,而不只是模型名。
因此,我倾向于把原始意图保存为独立输入,在决定回答或执行动作时再次参与检查。这是本文提出的工程方案,并非论文已经验证有效的防护实现。
flowchart LR
U[原始请求与图片] --> I[保留原始输入与来源]
U --> A[模型规划]
A --> T[读取工具观察]
T --> A
A --> P[拟回答或拟执行动作]
I --> G[结合原始意图检查]
P --> G
G --> R[放行 拦截 或转人工]
这里有三个具体选择。
保留原件,不只保留摘要。 如果原始请求是“提取图片里这个人的私人信息”,工具返回的姓名、位置和文字不会使原请求自动获得授权。摘要若漏掉危险目的,就把失真带进了所有后续检查。意图摘要可以帮助定位,但应能回到原文与原图。
在输出与动作边界检查。 这篇实验测的是最终回答;若系统还会发消息、写数据库或执行外部操作,等到最终文字回答才检查就可能太晚。本站的 Llama Guard 解读讨论了输入与输出门禁;这篇进一步提示,检查还应看到原始请求和中间轨迹。
同时衡量安全与正常帮助能力。 把调用次数锁死为零,可能降低这里的失败率,却也放弃了工具能力。应该对照无工具、有工具、原请求重现、独立检查等条件,并补上正常请求,记录误拦、延迟与成本。只在危险题上刷拒绝分数,容易得到一个什么都不愿帮助的助手。
我的根本约束判断是:多轮安全检查之所以需要持续引用原始意图,是因为“下一步技术上可行”并不包含“原始目的允许这样做”这个条件。 如果每个动作都能由独立的权限与政策规则完整验证,就不必反复依赖生成模型从长轨迹中重建意图;现实中的图文语义判断,往往没有这样的完整形式化规则。
它的共同祖先,是传统安全系统的“每次访问都要核验”,而不是入口检查一次便给整段会话永久放行。类比的边界也要说清:程序权限通常能精确枚举,用户语义意图仍可能含混,因此外层检查本身也需要评测。
最朴素的做法是信任一次无工具安全成绩,然后给它接工具。按论文主表的 Claude Opus 4.6 三基准均值外推到一万条同分布危险请求,13.6% 与 18.1% 对应约 1,360 与 1,810 条失败,差约 450 条。这只是基于报告均值的情景换算,不是生产预测;前面发现的表格不一致,更提醒我们不能把具体增幅当作已复现的预算依据。
崩点发生在第一次把旧设置的安全结论直接搬到新流程时,并不需要等到工具能执行不可逆操作。这与 Harness 的职责划分相接:外层程序既要让模型完成任务,也要明确何时停止、拿什么证据放行。
小结:下次评测时先改一个问题
工具能让助手找到更多线索,却不会自动保证它始终记得这些线索将被用来做什么。
这篇论文给出了工具模式拒绝退化的多组证据;机制仍是待检验的解释,部分数字也需要澄清。
带走的动作是:评测同一个模型时,把无工具与实际工具流程分别跑一遍,保留同题配对记录,并检查最终帮助是否仍符合原始目的。
不要只问“这个模型安全吗”,还要问“它在这条执行流程里安全吗”。
如果只有五分钟,先复制本文的配对检查脚本运行,再打开一份已有 Agent 轨迹,查看最终放行点是否还能读取原始请求。这两步不需要模型 API 费用,就能分别检查证据口径和执行流程的第一处缺口。
参考来源
论文
- arXiv 摘要与版本记录:2610.03938v1。出处、作者与会议标注。
- 论文 PDF。本文核对的表 1、表 4、表 5,以及重新注入设置。
- 论文 HTML 全文与附录。工具消融、机制假说、判定规则与复现细节。
工程阅读
- 安全策略不是一串 if:Llama Guard 如何把政策变成可编程门卫。输入输出门禁的背景。
- 什么是好的 Agent Harness。模型与外层执行程序的职责。