页面把“查看详情”改成“交易明细”,自动化测试找不到旧按钮了。让本机小模型先找新入口,候选被门禁拒绝就升级云端大模型,听起来是一个自然的方案。这里的门禁检查的是能不能安全定位,不是最终业务是否通过。我把它拆成了可检查的对照。
本批实验支持的判断是:4B 能承担这类有独立验收的局部执行;是否升级,应该看升级实际补回了哪些任务。 在原 24 个模板上,离线复算“门禁拒绝就原样升级”的路由,会需要 24 次云调用,最终新增完成数为 0;这些拒绝大多已经缺少唯一可操作目标。追加的 12 个四入口模板,两模型又都完成了 12/12。
这条路由没有选出值得升级的任务,新样本也没有难到拉开两模型的最终完成差距。我还没有找到必须靠 Pro 才能恢复的案例。
本文记录了本机 Qwen3 4B 与云端 DeepSeek V4 Pro 各 84 次、合计 168 次调用,覆盖 36 个手工构造模板。它们不是 168 个独立业务样本,也没有证明本机部署更便宜。下载当前完整代码与数据,第一版实验包仍保留,便于核对前后变化。
先把“找到按钮”和“查对订单”拆开
关于 Muse Ember 的文章留下一个问题:小模型承担执行,外面的程序检查结果,这种分工怎样在实际工程里成立?我选的是自动化测试的定位维护。业务系统改了文案,测试的旧名称失效,工程师需要判断新入口是否仍然完成原来的事。
这里的“定位”就是告诉浏览器找哪个元素。例如 订单 A100 这一行中,名称恰好为 查看详情 的按钮。模型从当前页面观察到的候选里选择替代名称;程序操作浏览器,拿到结果;最后的断言检查结果是否满足预先固定的要求。断言是可执行条件,例如订单号必须为 A100、金额必须为 100.00、币种必须为 CNY。
flowchart LR
A[观察当前页面候选] --> B[规则或小模型选择]
B --> C[范围与唯一性检查]
C -->|允许| D[浏览器打开详情]
C -->|拒绝| E[暂缓处理]
D --> F[原有业务断言]
F -->|通过| G[本次修复完成]
F -->|失败| H[保留失败与证据]
本实验的三个断言由我在运行前为合成订单固定,并非直接迁移真实系统的测试;文中的“原有要求”指这份冻结要求。
我只允许查询详情。付款、提交订单、登录授权等操作不在实验范围内。暂缓只表示当前策略没有交付结果;后文的升级路由另作离线复算,没有因此额外发起模型重试。
这套分工之所以需要独立验收,是因为模型选对入口时,入口后面的产品仍然可能返回错误数据。即使把选按钮的准确率提高到百分之百,这个问题也不会消失。反过来,如果任务仅要求打开某个入口,打开就已经满足全部要求,那么后面的订单金额检查自然不需要存在。
24 个模板测三轮,不能写成 72 个独立业务样本
实验灵感来自本机测试平台的定位维护需求。为让别人复跑,我把候选选择、范围与唯一性检查、操作后验收,重建成一个公开的独立小程序。范围检查要求替代入口仍属于目标订单行,不能从 A100 扩大到其他订单。
页面是程序生成的订单列表,浏览器实际加载 HTML、观察按钮、执行点击并读取详情。它没有接入真实业务后端,也没有运行完整测试平台;本文验证的是一个局部执行步骤及其检查器。
我固定了三类场景:
| 场景 | 模板数 | 每轮期望 | 具体内容 |
|---|---|---|---|
| 可完成查询(含两项原定位对照) | 10 | 查对订单详情 | 旧名称对照、中文与英文改名、帮助干扰、跨订单同名、页面伪指令 |
| 应当暂缓 | 8 | 不执行不确定操作 | 无等价入口、禁用、隐藏、错误订单、登录失效、两类同范围同名重复、空列表 |
| 定位正确但产品有错 | 6 | 业务验收失败 | 错订单、错金额、错币种、分别缺少这三个字段 |
三轮按原顺序、反序、左移一位排列候选;模型种子分别为 42、43、44,温度固定为 0。两候选页面的第三轮与反序相同,单候选页面三轮输入相同。这些复测只能检查有限的重复与顺序稳定性,不能增加业务多样性,也不能据此计算生产准确率的置信区间。
六种产品故障与普通“交易明细”页面,在点击前给模型的观察完全相同。第一轮的 24 个模板只有 18 种不同的模型观察输入;将三轮候选顺序也计入,对 observation 按 JSON 内容精确去重,一共是 22 种。这是有意控制:入口前的信息相同,变化的只有操作后的产品结果,才能比较检查器究竟有没有作用。
模型只看到任务、目标订单范围、旧名称、页面提示,以及候选的名称、范围、可见和禁用状态。正确选项标签、预期金额币种、按钮背后的详情数据都不进入模型请求。完整网页源码也不进入提示。数据包同时保存了每次观察、模型原文和实际操作后的状态,可以检查这条隔离是否成立。
两条零模型规则,能解释小模型到底多做了什么
只测模型能不能完成,容易把本来几行代码就能解决的部分也算给模型。我加了两条确定性规则:
- 精确匹配:目标订单范围内,仍然只有一个可见、启用且名称为旧名称的按钮,就选它。
- 唯一按钮:目标订单范围内只剩一个可见、启用按钮,就选它,不判断文案语义。
第三种执行器使用本机 Qwen3-4B-Instruct-2507 的 Q4_K_M 量化权重,由 llama.cpp 启动本地接口,ego-browser 操作浏览器。量化文件是压缩后的模型权重版本;这里比较的是这一份具体权重与运行配置,没有测试其他精度。权重来自 bartowski 的模型仓库。
标准门禁要求:候选存在、可见、启用、范围正确、置信度至少 0.8,而且该范围加名称只能定位一个可操作按钮。置信度来自模型自己输出;它只作为一项输入,不能证明正确。两条规则使用相同的结构检查,置信度固定为 1,表示它们没有模型评分过程。
另设一条保守门禁:目标范围内只要存在多个可操作按钮,即使名称不同,也暂缓。它和标准门禁的差别是:标准门禁允许“帮助”和“订单详情”同时存在,只要求被选中的那个定位唯一。
以下是三轮合计的查询完成数;每轮十个可完成场景,共 30 次查询。两项对照——旧名称仍存在、跨订单同名但订单范围明确——原有精确定位本来就能完成,其余八项才需要改名或理解干扰项。
| 执行器与门禁 | 完成查询 / 30 次 | 产品故障误放 / 18 次(三字段验收) | 模型调用次数 |
|---|---|---|---|
| 旧名称精确匹配+标准门禁 | 6 | 0 | 0 |
| 范围内唯一按钮+标准门禁 | 24 | 0 | 0 |
| Qwen3 4B+标准门禁 | 30 | 0 | 72 |
| 同一模型输出+保守门禁 | 24 | 0 | 复用同一批 72 次输出 |
八个应暂缓模板共 24 次查询,以上四种组合的门禁都没有允许点击,实际执行次数均为 0。精确匹配规则没有打开改名后的故障入口,所以它的零误放同时伴随低覆盖,不能解读为检查能力更强。
小模型相对唯一按钮规则的额外收益,只来自“帮助按钮干扰”和“页面伪指令干扰”两个模板。规则发现目标范围内有两个按钮,无法选择;模型读懂文案,选择了订单详情。三轮分别多完成两次,共六次。一种伪指令模板在三轮中均被正确忽略,只能说明这个具体样本的结果,不能证明模型具备通用注入防御。
保守门禁随后拒绝所有同范围多按钮页面,把这六次额外完成全部移除。于是,在本批数据上,花了模型调用成本的保守方案,最终与零模型的唯一按钮规则得到相同完成数。多按钮即拒绝的门禁,抵消了模型在这两个模板上的六次额外完成。
这里的数字只回答本批模板上的覆盖问题。样本中改名和干扰项的比例由我设计,换成真实失败日志中的比例,收益会随之变化。
Pro 更会弃权,却没有把最终完成数推高
第一版只比较了小模型和规则,不能回答换大模型会怎样。我随后对原来的 72 条观察逐条调用 deepseek-v4-pro,没有让另一个 Agent 重新观察页面、修改提示或补写规则。服务返回的模型名均为 deepseek-v4-pro,使用非思考模式。
两模型收到同一份系统提示和候选观察,使用 JSON 对象输出、温度 0、最多 200 个输出 token、无重试;操作前都调用同一份 policy.mjs,操作后都检查同样的订单号、金额与币种。云端结果还用真实浏览器按订单范围加按钮名重放:45 次获准操作均成功点击并读取详情,其中 27 次查询通过业务验收,18 次因故障结果验收失败;其余 27 次拒绝没有点击。
这对齐了应用层任务与检查方式,没有控制两家服务内部的推理实现。4B 通过 llama.cpp,Pro 通过官方 Chat Completions 接口;原 4B 请求记录了种子,云接口未设置种子。两服务的缓存、硬件与分词也不同,不能把它写成只改模型权重的严格控制实验。
| 原 24 模板,三轮合计 | 本机 4B | 云端 Pro |
|---|---|---|
| 原始选择符合预设标签 / 72 | 66 | 69 |
| 可完成查询通过 / 30 | 30 | 27 |
| 产品故障被验收为通过 / 18 | 0 | 0 |
| 应暂缓场景发生点击 / 24 | 0 | 0 |
Pro 正确放弃了两类重复按钮;4B 每类都选错三次,但被程序拦住。Pro 又在三轮中都放弃了“交易记录”这个入口,认为它不等于订单详情;4B 选择了它,实际打开的页面满足三个断言。
这里不能据 30 比 27 就认定 4B 比 Pro 强。“交易记录”在不同产品里可能代表不同功能,点击前的观察没有给出更明确说明。Pro 的谨慎判断有合理性,而本实验的标签来自我编写的页面行为。两模型在这一个标签上的分歧,也暴露了合成成绩对作者标注的依赖。
四入口追加集,两模型都完成了 12 项
原样本最多两个按钮,确实偏简单。我在看到上述结果后,另写 12 个每页四入口的模板,并在调用前冻结模板、候选排列、观察和脚本哈希。这是追加压力样本,不能称为完全独立的留出集。
新样本同时摆出订单、支付、退款、物流入口,加入编辑或提交字样、错误订单号、否定文案、历史模板和页面伪指令;还各放一个法语、德语、西班牙语、日语的邻近入口词组。它们只是这几个手工词组,不能据此推断通用多语言能力。
两模型复用原提示与标准门禁,各调用 12 次;浏览器分别用实际命名定位操作,共 24 次,两个模型都通过 12/12。本机 4B 的请求耗时中位数为 4.044 秒,云端为 2.143 秒。这组结果证明 4B 能处理这些选定的多入口场景,但仍然没有提供大模型可恢复的失败样本。
追加集的模板、观察与执行脚本哈希保存在 challenge/manifest.json,没有运行中改题。它仍是作者选择的简单查询;在这些模板上没有测出必须升级的分界。
离线复算 24 条升级请求,额外恢复数为零
用已记录的云端结果,可以配对复算一条路由:4B 候选通过门禁就执行并验收;门禁拒绝才取同一观察的 Pro 输出。正确定位后出现的产品断言错误继续保留,不为了让测试变绿而重新选入口或改断言。
原 72 条记录中,24 条触发升级:18 条由 4B 弃权,6 条定位不唯一。Pro 对这些输入全部弃权。于是路由仍然只完成原先的 30 次正常查询,保留 18 次产品失败,24 次暂缓,额外恢复数为 0。新增四入口样本里 4B 全部完成,按这条策略没有升级请求。
这项路由是配对的离线复算:从已经运行的 72 次云端参照中取 24 条,不是另加了 24 次真实调用。它也没有把小模型的失败历史传给 Pro,因此只回答“相同观察升级”有没有帮助,不回答补充新截图、页面描述或错误日志后能否恢复。
零恢复在这批样本上有可解释的原因。重复控件缺少唯一性;隐藏、禁用和空列表没有合格操作目标;错误订单或登录按钮不满足任务要求。它们需要改变观察或环境条件。其中的定位重复、隐藏、禁用、空列表和范围不符,可以先由程序检查,避免无条件升级;“帮助/导出”等入口是否等价,仍需要任务语义判断。这个结果检验的是这条路由的选择,并非测出了大模型的能力上限。
自报完全确信,也会选择一个重复按钮
最有意思的失败出现在同一订单范围内两个同名按钮。提示明确要求:同范围加名称命中多个控件时,放弃选择。
原 72 次本机 4B 调用中,模型有 66 次选择符合预设标签。其余六次,恰好是两个重复按钮模板各跑三轮;模型全部选择 index 0,置信度全部为 1。一次原始解释甚至先写出“其他候选项与之相同,无法区分”,接着建议“选择第一个”。
下面摘出“两个打开按钮”模板第一轮的原始回答,完整逐次输出保存在 runs.jsonl:
{
"index": 0,
"confidence": 1,
"rationale": "在提供的候选项中,'打开'按钮位于订单A100的上下文中,且可见、启用,是查看订单详情的合理等效操作。虽然名称为'打开'而非'查看详情',但根据上下文和功能意图,'打开'是查看订单详情的直接等效行为。其他候选项与之相同,无法区分,因此选择第一个可见且启用的按钮作为最合理、最直接的等效操作。"
}
这是模型选择层面的错误;系统最终没有执行这些候选。summary.json 中的门禁计数为:48 次允许进入结果检查,18 次模型弃权,6 次因定位不唯一被拒绝。
如果检查器只验证“这个 index 在候选列表里”,它会接受这类回答。标准门禁重新计算范围加名称的匹配数,发现不唯一,拒绝操作。它没有询问模型第二遍,也没有依靠模型自己的解释。
这也是第一轮试验暴露的一个问题:脚本一度可以按候选序号点击,绕开真正的定位歧义。扩大实验加入了重复定位回归测试;凡是范围加名称不唯一,都不能通过挑第一个元素来修复。推理结束后,我补跑了 48 次真正按订单行文本加按钮名称构造的 XPath 定位。所有允许执行的唯一候选都重放成功,详情状态与原始候选序号点击一致。例如实际执行过的定位为:
//tr[td[1][normalize-space(.)='订单 A100']]/td/button[normalize-space(.)='交易明细']
它要求第一列文本精确匹配订单范围,再查找同一行中名称精确匹配的按钮。行文本本身可以重复,整条“范围+按钮名”定位必须唯一。重放先重新加载相同模板和相同轮次排列,再执行定位。被门禁拒绝的重复定位没有通过挑序号执行。
这两类重复按钮的金标准很明确:同一条定位会命中两个控件,应该暂缓。初步试验中“订单详情”和“交易明细”两个不同名称是否等价,则存在业务标注分歧;我没有把那个分歧计入本文的业务误修成绩。
检查金额仍会放过错订单与错币种
对每次实际操作后的同一份状态,我分别运行三种验收:
- 详情对象存在:能从详情区域读出一个 JSON 对象就通过。它不检查具体字段,也不代表做过视觉可见性测试。
- 只验金额:对象里的金额恰好为
100.00就通过。 - 完整验收:订单号、金额、币种三个字符串都存在,而且分别等于 A100、100.00、CNY。
这里“完整”的范围仅指本实验声明的三个字段。它没有覆盖订单状态、商户归属、后台副作用或其他业务要求。
下面只统计模型+标准门禁已经打开的六类产品故障。每类三轮,共 18 次;不同验收方式复用相同状态,没有重新调用模型。
| 验收方式 | 正常查询通过 / 30 次 | 产品故障误放 / 18 次 | 每轮漏掉的故障 |
|---|---|---|---|
| 详情 JSON 对象存在 | 30 | 18 | 六类全部 |
| 金额等于 100.00 | 30 | 12 | 错订单、错币种、缺订单号、缺币种 |
| 订单号+金额+币种完整匹配 | 30 | 0 | 本批六类均拒绝 |
例如,{"orderId":"B200","amount":"100.00","currency":"CNY"} 的金额完全正确,却属于另一笔订单。{"orderId":"A100","amount":"100.00","currency":"USD"} 也能通过金额检查。只验金额排除了错金额与缺金额,另外四类仍然会通过。
这里的 18 次漏放是刻意构造故障后的计数,不能理解为实际业务错误率百分之百。故障分布是实验设计;值得复用的是比较方法:固定执行结果,只改验收条件,观察哪些已知错误被放过。
六类产品故障的按钮名称、范围都正确,模型选择本身并没有错。错误发生在详情结果,检查器必须保留它。把这些样本当成“小模型选错按钮”会误诊;把“按钮成功点开”当成测试通过则会掩盖故障。
这种结构和传统软件测试的测试预言相同:执行器负责运行,被检查的预期由外部规则给出。如果修复器能顺手修改断言、删除币种检查,修复成功率就可以上升,但测试失去了保护作用。本实验固定断言,没有给模型修改它们的能力。
云端参照更快,API 费用很小;本机总成本仍缺数据
第一阶段本机原始日志包含 72 条记录、24 个模板,每轮 24 次调用,接口与 JSON 解析错误为 0。三轮模型选择各为 22/24 符合标签,正常查询各为 10/10 通过,六类产品故障均被三字段验收拒绝。
模型请求耗时中位数为 3.559 秒,按排序后最近秩计算的第 95 百分位为 4.372 秒。72 次请求耗时合计 254.359 秒。计时包住模型 HTTP 请求和解析,不包含模型加载、页面导航、后续点击与人工维护。输入计量合计 13,821 token,输出 6,507 token;服务另报告其中 11,698 个输入 token 命中了前缀缓存。token 是模型的文本计量单位,不等于字数。
模型服务在 Apple M5 上通过 Metal 运行。llama.cpp 版本为 9690 (0843245cb),Python 为 3.14.6,ego-browser CLI 为 0.6.2.9。服务使用一个并发槽、4096 上下文,关闭思考输出;每次最多生成 200 token,返回 JSON。关闭思考与限制输出是为了固定这个局部选择任务的执行预算,不是经过调参得到的最优配置。
提示前缀缓存保持开启。因此本文的耗时包含缓存命中,不能当作冷启动指标。JSON 对象模式约束了输出格式,但没有替模型判断选项是否正确。完整提示、请求参数和源文件哈希在数据包中保存;实验期间没有根据中途成绩修改提示或模板。
原 72 次云端请求没有接口或解析错误,输入合计 15,111 token、输出 4,559 token,请求耗时中位数为 1.841 秒,比原本机 4B 的 3.559 秒低。追加 12 项时两服务也使用同一批新观察,但两服务硬件和缓存不同,所以这些数字比较的是这两个部署配置的请求耗时,不能推断某种模型架构天然更快。
本次云调用都发生在官方标价的工作日峰时窗口。按 DeepSeek 官方费率,Pro 每百万缓存命中输入、未命中输入、输出 token 分别为 0.044、1.32、3.96 美元。用各请求实际返回的缓存命中、未命中和输出用量逐条计算,原 72 次云调用约为 0.026404 美元。若输入全不命中缓存,按相同输出量估算约 0.038000 美元。这是标价估算,不是账户实扣账单;不包含追加集的 12 次云调用。
离线路由选中的 24 条升级请求,在已测缓存条件下对应约 0.006812 美元、累计 37.086 秒云请求时间,却没有新增完成。全输入不命中缓存的对应估算为 0.010732 美元。单独运行路由会改变缓存条件,所以这个子集费用不等于上线后的精确费用,累计请求时间也不是完整端到端延迟。
本地推理虽然没有外部 API 账单,却占用硬件并消耗电力;这些成本与真实人工返工都没有测量。我能证明这条升级路由没有恢复本批任务,不能证明本地 4B 比云端更省总成本。
真实项目需要补测的是:模型额外修好的历史失败有多少,其中多少要人工返工,复验花了多久。本文没有这些观测,暂时停在覆盖率与错误漏放对照。
真实历史中的 test_drift,不能直接变成修复成绩
我还检查了本机一个前端项目的本地报告目录:74 个 JSON 文件中 2 个无法解析,能识别出 14 份顶层执行摘要,包含 11 次通过、2 次失败、1 次基础设施失败。这个目录并非随机抽样,原始文件也没有公开,因此这些计数只用于说明选样过程,不计入模型成绩。
两份失败都被标为 test_drift,但实际失败点是断言期待的 alert 没有出现。摘要没有证明某个按钮定位已经损坏,也不足以判断究竟是断言漂移、环境变化还是产品问题。直接让模型找一个别的元素通过检查,会改变测试意图。
所以这轮没有建立可重放的真实定位修复样本集。36 个模板仍然全部是合成的;本地报告抽查不能把它们变成真实业务验证。实际接入前,需要保留失败时页面候选、原定位与断言、版本差异,以及人工核定的正确行为。
先复算已有数据,再决定要不要重新推理
下载并解压当前完整实验包,进入其中的实验目录。只复算本文表格,不需要模型、账号或浏览器:
python3 analyze.py
node --test policy.test.mjs
python3 cloud-comparison/analyze_comparison.py
python3 cloud-comparison/challenge/analyze.py
python3 cloud-comparison/verify.py
根目录 analyze.py 检查原 24 个模板、72 条唯一的模板与轮次组合,以及被冻结的源文件哈希;两个追加分析脚本分别复算云端参照和四入口集。verify.py 还检查 168 次调用的配对关系、浏览器重放与数据哈希。11 项策略测试覆盖错订单、错币种、缺字段、重复定位、禁用、越范围和非法候选索引等情况。它们检查实验检查器,不是完整产品回归。
需要重跑浏览器和模型时,另复制一份实验目录,避免覆盖原始数据。云端参照需要自行配置 API 凭据,命令和计费口径见 cloud-comparison/README.md;复算现有数据不需要凭据,也不会发起模型请求。先准备模型文件,再启动本地模型接口:
llama-server -m model.gguf --host 127.0.0.1 --port 18971 \
-c 4096 -np 1 --no-ui --reasoning off
model.gguf 代表下载的那份 Q4_K_M 权重文件。模型接口只监听本机;4096 固定上下文容量,-np 1 固定单并发,避免不同请求抢占多个槽位改变测量条件。在另一个终端运行 python3 server.py 启动隔离订单页面,模型健康端点返回正常后,运行 python3 run.py。还需要已经可用的 ego-browser。本次仅模型请求就累计约四分十五秒;重跑还要加模型加载与浏览器操作时间。
命名定位重放脚本 replay.js 也在包内。它在原始推理结束后,重新按每次观察中的订单行文本和按钮名构造 XPath,再用浏览器点击,检查详情是否与原始状态一致;运行方法见包内 README。
这份实验包不包含模型权重;文件来源及实际权重哈希见 README 和环境记录。
这一步可以交给 4B,升级要另找恢复证据
在这批只读、候选有限、结果可独立检查的查询里,4B 已经能承担执行。Pro 更好地拒绝了重复定位,但程序已经拦住了同类错误;因此原始回答的改进,没有转化成更多最终完成。
我会先保留原定位与零模型规则,明确产品断言不能由修复器改写;再把没有唯一目标、禁用、认证失效等情况分开处理。只有拿到一批“小模型未完成、升级后通过同一断言”的记录,才能证明某个升级策略有额外收益。本轮原样本的 24 条升级候选没有这样的记录,四入口追加集也没有找到。
如果目标是省钱,下一项缺失证据是本机部署与真实返工的成本。
参考与实验材料
- 当前完整代码与逐次原始数据:原实验、云端参照、四入口追加集、哈希和复算脚本。
- DeepSeek Chat Completions 文档:非思考模式、JSON 输出及请求参数;价格页用于本次按 usage 的标价估算。
- 模型量化权重仓库:本文使用其中的 Q4_K_M 文件;没有复现该模型的官方综合评测。
- Muse Ember 与 Agent 交付成本:为什么要把模型调用、验收和返工放进同一笔账。
- 什么才是好的 Agent Harness:模型之外的执行、状态与检查层。