门禁拒绝就升级 Pro?4B 定位修复的 36 模板对照

对 24 个合成页面补跑 DeepSeek V4 Pro,并冻结 12 个四入口追加样本,共记录 168 次调用。比较规则、4B、Pro 和按门禁失败升级的路由:升级子集没有恢复任何任务;同时区分原始选择、最终验收、延迟与按 usage 估算的 API 费用。附代码和原始数据。

页面把“查看详情”改成“交易明细”,自动化测试找不到旧按钮了。让本机小模型先找新入口,候选被门禁拒绝就升级云端大模型,听起来是一个自然的方案。这里的门禁检查的是能不能安全定位,不是最终业务是否通过。我把它拆成了可检查的对照。

本批实验支持的判断是:4B 能承担这类有独立验收的局部执行;是否升级,应该看升级实际补回了哪些任务。 在原 24 个模板上,离线复算“门禁拒绝就原样升级”的路由,会需要 24 次云调用,最终新增完成数为 0;这些拒绝大多已经缺少唯一可操作目标。追加的 12 个四入口模板,两模型又都完成了 12/12。

这条路由没有选出值得升级的任务,新样本也没有难到拉开两模型的最终完成差距。我还没有找到必须靠 Pro 才能恢复的案例。

本文记录了本机 Qwen3 4B 与云端 DeepSeek V4 Pro 各 84 次、合计 168 次调用,覆盖 36 个手工构造模板。它们不是 168 个独立业务样本,也没有证明本机部署更便宜。下载当前完整代码与数据,第一版实验包仍保留,便于核对前后变化。

先把“找到按钮”和“查对订单”拆开

关于 Muse Ember 的文章留下一个问题:小模型承担执行,外面的程序检查结果,这种分工怎样在实际工程里成立?我选的是自动化测试的定位维护。业务系统改了文案,测试的旧名称失效,工程师需要判断新入口是否仍然完成原来的事。

这里的“定位”就是告诉浏览器找哪个元素。例如 订单 A100 这一行中,名称恰好为 查看详情 的按钮。模型从当前页面观察到的候选里选择替代名称;程序操作浏览器,拿到结果;最后的断言检查结果是否满足预先固定的要求。断言是可执行条件,例如订单号必须为 A100、金额必须为 100.00、币种必须为 CNY。

flowchart LR
  A[观察当前页面候选] --> B[规则或小模型选择]
  B --> C[范围与唯一性检查]
  C -->|允许| D[浏览器打开详情]
  C -->|拒绝| E[暂缓处理]
  D --> F[原有业务断言]
  F -->|通过| G[本次修复完成]
  F -->|失败| H[保留失败与证据]

本实验的三个断言由我在运行前为合成订单固定,并非直接迁移真实系统的测试;文中的“原有要求”指这份冻结要求。

我只允许查询详情。付款、提交订单、登录授权等操作不在实验范围内。暂缓只表示当前策略没有交付结果;后文的升级路由另作离线复算,没有因此额外发起模型重试。

这套分工之所以需要独立验收,是因为模型选对入口时,入口后面的产品仍然可能返回错误数据。即使把选按钮的准确率提高到百分之百,这个问题也不会消失。反过来,如果任务仅要求打开某个入口,打开就已经满足全部要求,那么后面的订单金额检查自然不需要存在。

24 个模板测三轮,不能写成 72 个独立业务样本

实验灵感来自本机测试平台的定位维护需求。为让别人复跑,我把候选选择、范围与唯一性检查、操作后验收,重建成一个公开的独立小程序。范围检查要求替代入口仍属于目标订单行,不能从 A100 扩大到其他订单。

页面是程序生成的订单列表,浏览器实际加载 HTML、观察按钮、执行点击并读取详情。它没有接入真实业务后端,也没有运行完整测试平台;本文验证的是一个局部执行步骤及其检查器。

我固定了三类场景:

场景模板数每轮期望具体内容
可完成查询(含两项原定位对照)10查对订单详情旧名称对照、中文与英文改名、帮助干扰、跨订单同名、页面伪指令
应当暂缓8不执行不确定操作无等价入口、禁用、隐藏、错误订单、登录失效、两类同范围同名重复、空列表
定位正确但产品有错6业务验收失败错订单、错金额、错币种、分别缺少这三个字段

三轮按原顺序、反序、左移一位排列候选;模型种子分别为 42、43、44,温度固定为 0。两候选页面的第三轮与反序相同,单候选页面三轮输入相同。这些复测只能检查有限的重复与顺序稳定性,不能增加业务多样性,也不能据此计算生产准确率的置信区间。

六种产品故障与普通“交易明细”页面,在点击前给模型的观察完全相同。第一轮的 24 个模板只有 18 种不同的模型观察输入;将三轮候选顺序也计入,对 observation 按 JSON 内容精确去重,一共是 22 种。这是有意控制:入口前的信息相同,变化的只有操作后的产品结果,才能比较检查器究竟有没有作用。

模型只看到任务、目标订单范围、旧名称、页面提示,以及候选的名称、范围、可见和禁用状态。正确选项标签、预期金额币种、按钮背后的详情数据都不进入模型请求。完整网页源码也不进入提示。数据包同时保存了每次观察、模型原文和实际操作后的状态,可以检查这条隔离是否成立。

两条零模型规则,能解释小模型到底多做了什么

只测模型能不能完成,容易把本来几行代码就能解决的部分也算给模型。我加了两条确定性规则:

  • 精确匹配:目标订单范围内,仍然只有一个可见、启用且名称为旧名称的按钮,就选它。
  • 唯一按钮:目标订单范围内只剩一个可见、启用按钮,就选它,不判断文案语义。

第三种执行器使用本机 Qwen3-4B-Instruct-2507 的 Q4_K_M 量化权重,由 llama.cpp 启动本地接口,ego-browser 操作浏览器。量化文件是压缩后的模型权重版本;这里比较的是这一份具体权重与运行配置,没有测试其他精度。权重来自 bartowski 的模型仓库。

标准门禁要求:候选存在、可见、启用、范围正确、置信度至少 0.8,而且该范围加名称只能定位一个可操作按钮。置信度来自模型自己输出;它只作为一项输入,不能证明正确。两条规则使用相同的结构检查,置信度固定为 1,表示它们没有模型评分过程。

另设一条保守门禁:目标范围内只要存在多个可操作按钮,即使名称不同,也暂缓。它和标准门禁的差别是:标准门禁允许“帮助”和“订单详情”同时存在,只要求被选中的那个定位唯一。

以下是三轮合计的查询完成数;每轮十个可完成场景,共 30 次查询。两项对照——旧名称仍存在、跨订单同名但订单范围明确——原有精确定位本来就能完成,其余八项才需要改名或理解干扰项。

执行器与门禁完成查询 / 30 次产品故障误放 / 18 次(三字段验收)模型调用次数
旧名称精确匹配+标准门禁600
范围内唯一按钮+标准门禁2400
Qwen3 4B+标准门禁30072
同一模型输出+保守门禁240复用同一批 72 次输出

八个应暂缓模板共 24 次查询,以上四种组合的门禁都没有允许点击,实际执行次数均为 0。精确匹配规则没有打开改名后的故障入口,所以它的零误放同时伴随低覆盖,不能解读为检查能力更强。

小模型相对唯一按钮规则的额外收益,只来自“帮助按钮干扰”和“页面伪指令干扰”两个模板。规则发现目标范围内有两个按钮,无法选择;模型读懂文案,选择了订单详情。三轮分别多完成两次,共六次。一种伪指令模板在三轮中均被正确忽略,只能说明这个具体样本的结果,不能证明模型具备通用注入防御。

保守门禁随后拒绝所有同范围多按钮页面,把这六次额外完成全部移除。于是,在本批数据上,花了模型调用成本的保守方案,最终与零模型的唯一按钮规则得到相同完成数。多按钮即拒绝的门禁,抵消了模型在这两个模板上的六次额外完成。

这里的数字只回答本批模板上的覆盖问题。样本中改名和干扰项的比例由我设计,换成真实失败日志中的比例,收益会随之变化。

Pro 更会弃权,却没有把最终完成数推高

第一版只比较了小模型和规则,不能回答换大模型会怎样。我随后对原来的 72 条观察逐条调用 deepseek-v4-pro,没有让另一个 Agent 重新观察页面、修改提示或补写规则。服务返回的模型名均为 deepseek-v4-pro,使用非思考模式。

两模型收到同一份系统提示和候选观察,使用 JSON 对象输出、温度 0、最多 200 个输出 token、无重试;操作前都调用同一份 policy.mjs,操作后都检查同样的订单号、金额与币种。云端结果还用真实浏览器按订单范围加按钮名重放:45 次获准操作均成功点击并读取详情,其中 27 次查询通过业务验收,18 次因故障结果验收失败;其余 27 次拒绝没有点击。

这对齐了应用层任务与检查方式,没有控制两家服务内部的推理实现。4B 通过 llama.cpp,Pro 通过官方 Chat Completions 接口;原 4B 请求记录了种子,云接口未设置种子。两服务的缓存、硬件与分词也不同,不能把它写成只改模型权重的严格控制实验。

原 24 模板,三轮合计本机 4B云端 Pro
原始选择符合预设标签 / 726669
可完成查询通过 / 303027
产品故障被验收为通过 / 1800
应暂缓场景发生点击 / 2400

Pro 正确放弃了两类重复按钮;4B 每类都选错三次,但被程序拦住。Pro 又在三轮中都放弃了“交易记录”这个入口,认为它不等于订单详情;4B 选择了它,实际打开的页面满足三个断言。

这里不能据 30 比 27 就认定 4B 比 Pro 强。“交易记录”在不同产品里可能代表不同功能,点击前的观察没有给出更明确说明。Pro 的谨慎判断有合理性,而本实验的标签来自我编写的页面行为。两模型在这一个标签上的分歧,也暴露了合成成绩对作者标注的依赖。

四入口追加集,两模型都完成了 12 项

原样本最多两个按钮,确实偏简单。我在看到上述结果后,另写 12 个每页四入口的模板,并在调用前冻结模板、候选排列、观察和脚本哈希。这是追加压力样本,不能称为完全独立的留出集。

新样本同时摆出订单、支付、退款、物流入口,加入编辑或提交字样、错误订单号、否定文案、历史模板和页面伪指令;还各放一个法语、德语、西班牙语、日语的邻近入口词组。它们只是这几个手工词组,不能据此推断通用多语言能力。

两模型复用原提示与标准门禁,各调用 12 次;浏览器分别用实际命名定位操作,共 24 次,两个模型都通过 12/12。本机 4B 的请求耗时中位数为 4.044 秒,云端为 2.143 秒。这组结果证明 4B 能处理这些选定的多入口场景,但仍然没有提供大模型可恢复的失败样本。

追加集的模板、观察与执行脚本哈希保存在 challenge/manifest.json,没有运行中改题。它仍是作者选择的简单查询;在这些模板上没有测出必须升级的分界。

离线复算 24 条升级请求,额外恢复数为零

用已记录的云端结果,可以配对复算一条路由:4B 候选通过门禁就执行并验收;门禁拒绝才取同一观察的 Pro 输出。正确定位后出现的产品断言错误继续保留,不为了让测试变绿而重新选入口或改断言。

原 72 条记录中,24 条触发升级:18 条由 4B 弃权,6 条定位不唯一。Pro 对这些输入全部弃权。于是路由仍然只完成原先的 30 次正常查询,保留 18 次产品失败,24 次暂缓,额外恢复数为 0。新增四入口样本里 4B 全部完成,按这条策略没有升级请求。

这项路由是配对的离线复算:从已经运行的 72 次云端参照中取 24 条,不是另加了 24 次真实调用。它也没有把小模型的失败历史传给 Pro,因此只回答“相同观察升级”有没有帮助,不回答补充新截图、页面描述或错误日志后能否恢复。

零恢复在这批样本上有可解释的原因。重复控件缺少唯一性;隐藏、禁用和空列表没有合格操作目标;错误订单或登录按钮不满足任务要求。它们需要改变观察或环境条件。其中的定位重复、隐藏、禁用、空列表和范围不符,可以先由程序检查,避免无条件升级;“帮助/导出”等入口是否等价,仍需要任务语义判断。这个结果检验的是这条路由的选择,并非测出了大模型的能力上限。

自报完全确信,也会选择一个重复按钮

最有意思的失败出现在同一订单范围内两个同名按钮。提示明确要求:同范围加名称命中多个控件时,放弃选择。

原 72 次本机 4B 调用中,模型有 66 次选择符合预设标签。其余六次,恰好是两个重复按钮模板各跑三轮;模型全部选择 index 0,置信度全部为 1。一次原始解释甚至先写出“其他候选项与之相同,无法区分”,接着建议“选择第一个”。

下面摘出“两个打开按钮”模板第一轮的原始回答,完整逐次输出保存在 runs.jsonl:

{
  "index": 0,
  "confidence": 1,
  "rationale": "在提供的候选项中,'打开'按钮位于订单A100的上下文中,且可见、启用,是查看订单详情的合理等效操作。虽然名称为'打开'而非'查看详情',但根据上下文和功能意图,'打开'是查看订单详情的直接等效行为。其他候选项与之相同,无法区分,因此选择第一个可见且启用的按钮作为最合理、最直接的等效操作。"
}

这是模型选择层面的错误;系统最终没有执行这些候选。summary.json 中的门禁计数为:48 次允许进入结果检查,18 次模型弃权,6 次因定位不唯一被拒绝。

如果检查器只验证“这个 index 在候选列表里”,它会接受这类回答。标准门禁重新计算范围加名称的匹配数,发现不唯一,拒绝操作。它没有询问模型第二遍,也没有依靠模型自己的解释。

这也是第一轮试验暴露的一个问题:脚本一度可以按候选序号点击,绕开真正的定位歧义。扩大实验加入了重复定位回归测试;凡是范围加名称不唯一,都不能通过挑第一个元素来修复。推理结束后,我补跑了 48 次真正按订单行文本加按钮名称构造的 XPath 定位。所有允许执行的唯一候选都重放成功,详情状态与原始候选序号点击一致。例如实际执行过的定位为:

//tr[td[1][normalize-space(.)='订单 A100']]/td/button[normalize-space(.)='交易明细']

它要求第一列文本精确匹配订单范围,再查找同一行中名称精确匹配的按钮。行文本本身可以重复,整条“范围+按钮名”定位必须唯一。重放先重新加载相同模板和相同轮次排列,再执行定位。被门禁拒绝的重复定位没有通过挑序号执行。

这两类重复按钮的金标准很明确:同一条定位会命中两个控件,应该暂缓。初步试验中“订单详情”和“交易明细”两个不同名称是否等价,则存在业务标注分歧;我没有把那个分歧计入本文的业务误修成绩。

检查金额仍会放过错订单与错币种

对每次实际操作后的同一份状态,我分别运行三种验收:

  1. 详情对象存在:能从详情区域读出一个 JSON 对象就通过。它不检查具体字段,也不代表做过视觉可见性测试。
  2. 只验金额:对象里的金额恰好为 100.00 就通过。
  3. 完整验收:订单号、金额、币种三个字符串都存在,而且分别等于 A100、100.00、CNY。

这里“完整”的范围仅指本实验声明的三个字段。它没有覆盖订单状态、商户归属、后台副作用或其他业务要求。

下面只统计模型+标准门禁已经打开的六类产品故障。每类三轮,共 18 次;不同验收方式复用相同状态,没有重新调用模型。

验收方式正常查询通过 / 30 次产品故障误放 / 18 次每轮漏掉的故障
详情 JSON 对象存在3018六类全部
金额等于 100.003012错订单、错币种、缺订单号、缺币种
订单号+金额+币种完整匹配300本批六类均拒绝

例如,{"orderId":"B200","amount":"100.00","currency":"CNY"} 的金额完全正确,却属于另一笔订单。{"orderId":"A100","amount":"100.00","currency":"USD"} 也能通过金额检查。只验金额排除了错金额与缺金额,另外四类仍然会通过。

这里的 18 次漏放是刻意构造故障后的计数,不能理解为实际业务错误率百分之百。故障分布是实验设计;值得复用的是比较方法:固定执行结果,只改验收条件,观察哪些已知错误被放过。

六类产品故障的按钮名称、范围都正确,模型选择本身并没有错。错误发生在详情结果,检查器必须保留它。把这些样本当成“小模型选错按钮”会误诊;把“按钮成功点开”当成测试通过则会掩盖故障。

这种结构和传统软件测试的测试预言相同:执行器负责运行,被检查的预期由外部规则给出。如果修复器能顺手修改断言、删除币种检查,修复成功率就可以上升,但测试失去了保护作用。本实验固定断言,没有给模型修改它们的能力。

云端参照更快,API 费用很小;本机总成本仍缺数据

第一阶段本机原始日志包含 72 条记录、24 个模板,每轮 24 次调用,接口与 JSON 解析错误为 0。三轮模型选择各为 22/24 符合标签,正常查询各为 10/10 通过,六类产品故障均被三字段验收拒绝。

模型请求耗时中位数为 3.559 秒,按排序后最近秩计算的第 95 百分位为 4.372 秒。72 次请求耗时合计 254.359 秒。计时包住模型 HTTP 请求和解析,不包含模型加载、页面导航、后续点击与人工维护。输入计量合计 13,821 token,输出 6,507 token;服务另报告其中 11,698 个输入 token 命中了前缀缓存。token 是模型的文本计量单位,不等于字数。

模型服务在 Apple M5 上通过 Metal 运行。llama.cpp 版本为 9690 (0843245cb),Python 为 3.14.6,ego-browser CLI 为 0.6.2.9。服务使用一个并发槽、4096 上下文,关闭思考输出;每次最多生成 200 token,返回 JSON。关闭思考与限制输出是为了固定这个局部选择任务的执行预算,不是经过调参得到的最优配置。

提示前缀缓存保持开启。因此本文的耗时包含缓存命中,不能当作冷启动指标。JSON 对象模式约束了输出格式,但没有替模型判断选项是否正确。完整提示、请求参数和源文件哈希在数据包中保存;实验期间没有根据中途成绩修改提示或模板。

原 72 次云端请求没有接口或解析错误,输入合计 15,111 token、输出 4,559 token,请求耗时中位数为 1.841 秒,比原本机 4B 的 3.559 秒低。追加 12 项时两服务也使用同一批新观察,但两服务硬件和缓存不同,所以这些数字比较的是这两个部署配置的请求耗时,不能推断某种模型架构天然更快。

本次云调用都发生在官方标价的工作日峰时窗口。按 DeepSeek 官方费率,Pro 每百万缓存命中输入、未命中输入、输出 token 分别为 0.044、1.32、3.96 美元。用各请求实际返回的缓存命中、未命中和输出用量逐条计算,原 72 次云调用约为 0.026404 美元。若输入全不命中缓存,按相同输出量估算约 0.038000 美元。这是标价估算,不是账户实扣账单;不包含追加集的 12 次云调用。

离线路由选中的 24 条升级请求,在已测缓存条件下对应约 0.006812 美元、累计 37.086 秒云请求时间,却没有新增完成。全输入不命中缓存的对应估算为 0.010732 美元。单独运行路由会改变缓存条件,所以这个子集费用不等于上线后的精确费用,累计请求时间也不是完整端到端延迟。

本地推理虽然没有外部 API 账单,却占用硬件并消耗电力;这些成本与真实人工返工都没有测量。我能证明这条升级路由没有恢复本批任务,不能证明本地 4B 比云端更省总成本。

真实项目需要补测的是:模型额外修好的历史失败有多少,其中多少要人工返工,复验花了多久。本文没有这些观测,暂时停在覆盖率与错误漏放对照。

真实历史中的 test_drift,不能直接变成修复成绩

我还检查了本机一个前端项目的本地报告目录:74 个 JSON 文件中 2 个无法解析,能识别出 14 份顶层执行摘要,包含 11 次通过、2 次失败、1 次基础设施失败。这个目录并非随机抽样,原始文件也没有公开,因此这些计数只用于说明选样过程,不计入模型成绩。

两份失败都被标为 test_drift,但实际失败点是断言期待的 alert 没有出现。摘要没有证明某个按钮定位已经损坏,也不足以判断究竟是断言漂移、环境变化还是产品问题。直接让模型找一个别的元素通过检查,会改变测试意图。

所以这轮没有建立可重放的真实定位修复样本集。36 个模板仍然全部是合成的;本地报告抽查不能把它们变成真实业务验证。实际接入前,需要保留失败时页面候选、原定位与断言、版本差异,以及人工核定的正确行为。

先复算已有数据,再决定要不要重新推理

下载并解压当前完整实验包,进入其中的实验目录。只复算本文表格,不需要模型、账号或浏览器:

python3 analyze.py
node --test policy.test.mjs
python3 cloud-comparison/analyze_comparison.py
python3 cloud-comparison/challenge/analyze.py
python3 cloud-comparison/verify.py

根目录 analyze.py 检查原 24 个模板、72 条唯一的模板与轮次组合,以及被冻结的源文件哈希;两个追加分析脚本分别复算云端参照和四入口集。verify.py 还检查 168 次调用的配对关系、浏览器重放与数据哈希。11 项策略测试覆盖错订单、错币种、缺字段、重复定位、禁用、越范围和非法候选索引等情况。它们检查实验检查器,不是完整产品回归。

需要重跑浏览器和模型时,另复制一份实验目录,避免覆盖原始数据。云端参照需要自行配置 API 凭据,命令和计费口径见 cloud-comparison/README.md;复算现有数据不需要凭据,也不会发起模型请求。先准备模型文件,再启动本地模型接口:

llama-server -m model.gguf --host 127.0.0.1 --port 18971 \
  -c 4096 -np 1 --no-ui --reasoning off

model.gguf 代表下载的那份 Q4_K_M 权重文件。模型接口只监听本机;4096 固定上下文容量,-np 1 固定单并发,避免不同请求抢占多个槽位改变测量条件。在另一个终端运行 python3 server.py 启动隔离订单页面,模型健康端点返回正常后,运行 python3 run.py。还需要已经可用的 ego-browser。本次仅模型请求就累计约四分十五秒;重跑还要加模型加载与浏览器操作时间。

命名定位重放脚本 replay.js 也在包内。它在原始推理结束后,重新按每次观察中的订单行文本和按钮名构造 XPath,再用浏览器点击,检查详情是否与原始状态一致;运行方法见包内 README。

这份实验包不包含模型权重;文件来源及实际权重哈希见 README 和环境记录。

这一步可以交给 4B,升级要另找恢复证据

在这批只读、候选有限、结果可独立检查的查询里,4B 已经能承担执行。Pro 更好地拒绝了重复定位,但程序已经拦住了同类错误;因此原始回答的改进,没有转化成更多最终完成。

我会先保留原定位与零模型规则,明确产品断言不能由修复器改写;再把没有唯一目标、禁用、认证失效等情况分开处理。只有拿到一批“小模型未完成、升级后通过同一断言”的记录,才能证明某个升级策略有额外收益。本轮原样本的 24 条升级候选没有这样的记录,四入口追加集也没有找到。

如果目标是省钱,下一项缺失证据是本机部署与真实返工的成本。

参考与实验材料