你的 Agent tracing 里冒出一行
Used computer · 1 action。意思是:这一步 Agent 找不到可调的接口,只能像人一样看一张截图、点一下鼠标。
computer 是 Anthropic 定义的一个客户端工具集:它给模型一张屏幕截图和一套鼠标键盘动作。观测面板里的每一行 Used computer,背后都是一次「截图 → 多模态模型推理 → 输出坐标 → 真的点下去」的循环。它能干活,但又贵又慢,还容易点错;论文里最好的成绩离人类还有一截。
名词速查
| 术语 | 一句话解释 |
|---|---|
| Computer Use / CUA | Computer-Using Agent,让模型像人一样看屏幕截图、移动鼠标键盘来操作任意软件,而不是调用结构化 API |
| tool_use / tool_result | Agent 循环里的一次工具往返:模型请求调用工具,宿主执行后把结果喂回去(站内 Agent Harness 一文有完整拆解) |
| action | computer 工具的动作字段,枚举值如 screenshot、left_click、type、key——一次调用只发一个动作 |
| GUI grounding | 把”点那个蓝色的发送按钮”这种自然语言指令,翻译成屏幕上准确的像素坐标,是这类 Agent 最容易翻车的地方 |
| VLM | 能同时读文字和图片的多模态大模型,computer use 的”眼睛” |
| AX tree / DOM | 网页的结构化可访问性树/文档对象树——比截图干净得多的页面表示,是浏览器 Agent 的高级通道(见 Browser Agent 控制栈) |
| pass@k | 让 Agent 独立试 k 次、只要成功一次就算过的评测口径 |
一、拆开那行字:computer 工具和那 “1 action”
Used computer · 1 action 里,两个词都有精确对应。
computer 是 Anthropic 在 API 侧定义、由你自己的宿主程序执行的工具(文档原话:“Claude cannot directly execute it”)。你在 tools 里注册它时要声明显示分辨率。官方文档的建议是:桌面任务用 1024×768 或 1280×720,网页任务用 1280×800 或 1366×768,最高不要超过 1920×1080(2026-11-04 重新核对)。它和 bash、str_replace_editor 是同一家族的”官方参考工具”。
1 action:每次 computer 调用的入参里只有一个 action 字段,所以我理解这里数的是这一组里发生了几次调用。这是我根据 tracing 界面的表现推断的,没有找到文档说明。动作的枚举如下(官方文档,写作时逐条核对过):
| 类别 | 动作 |
|---|---|
| 基础(所有版本) | screenshot 截图、left_click 点击、type 输入文本、key 按键/组合键(如 ctrl+s)、mouse_move 移光标 |
| 增强(2025-01 版) | scroll 滚动、left_click_drag 拖拽、right_click/middle_click、double_click/triple_click、left_mouse_down/left_mouse_up 细粒度按压、hold_key 组合修饰键、wait 等待 |
一次真实调用长这样(文档示例格式):
{ "name": "computer",
"input": { "action": "left_click", "coordinate": [500, 300] } }
宿主收到后真的在桌面/容器里把鼠标移到 (500,300) 点一下,截一张新屏幕,作为 tool_result 喂回模型——这就是下一轮的 screenshot 输入。“1 action” 的潜台词是:这一步模型只敢做一件事,做完要看一眼屏幕才敢做下一件。
二、心智模型:它是控制栈的最底层兜底
回顾我之前那篇 Browser Agent 控制栈 的主线:Agent 改变软件状态有一堆通道,从结构化到原始,逐级降级。computer use 就坐在最底层。
flowchart TB
A["业务 API / MCP 工具<br/>结构化、一步到位"] --> B["DOM / Accessibility Tree<br/>知道哪个控件叫什么"]
B --> C["视觉坐标<br/>截图 + 像素点击"]
C -.->|没有 API、没有 DOM 时<br/>只能落到这一层| D["computer 工具"]
三个选择决定了它的成本和成功率:
| 选择 | 它管什么 | 换一种选法会怎样 |
|---|---|---|
| 观察通道 | 用截图还是用 AX/DOM 看界面 | 给结构化树, grounding 错误率立刻下降;纯截图,每步都在做坐标赌博 |
| 动作空间 | 一次发一个键鼠动作,还是直接调函数 | 前者慢且脆;后者快但要求软件留了接口 |
| 步数预算 | 一个任务允许它点多少次 | 不设上限,它能在一个死循环里烧掉上万 token(官方文档专门提醒要加迭代上限) |
放回整个 Agent loop 里看,它和「搜索网页」「查数据库」是平级的工具,区别在于它的副作用是直接操作一台真实电脑。
三、为什么只能长成”截图+坐标”这个样子
GUI 是给人的眼睛和手设计的,没给机器留接口。一个软件既没有 API、也没有 DOM 或无障碍树的时候,Agent 拿不到任何结构化的描述,只能走跟人一样的路:看截图,判断要点哪里,再移动鼠标。
反过来想:如果桌面上每个软件都像网页一样带结构化 ID,或者都提供 MCP 接口,computer use 这一层就几乎用不上了,Agent 会直接调接口。所以它存在的前提是别的通道都缺席;而它的代价随步数增长。一个填表单任务走 API 是一次函数调用,走截图要十几步,每步一次多模态推理;任务长到几百步时,延迟、成本和中途漂移都会失控(第五节算了一笔账)。
这条路也不新。以前的 RPA(机器人流程自动化)脚本写死屏幕坐标去点按钮,computer use 把写死的坐标换成了模型每次现看现猜。
四、论文谱系:这条路到底多难
4.1 OSWorld:人类 72%,最好的模型 12%
OSWorld(arXiv:2404.07972,论文报告值,我未复现)是第一个在真实 Ubuntu/Windows/macOS 里跑的 benchmark:369 个任务,涉及真实网页、桌面应用、文件读写、跨软件工作流,每个任务都带执行级校验脚本。结果:人类能完成 72.36%,当时最强的 LLM/VLM Agent 只有 12.24%。论文归因两个死因:GUI grounding(点不准)和 operational knowledge(不知道这个软件该怎么操作)。
4.2 死穴是 grounding:SeeClick 与 ScreenSpot
点不准这个问题,南京大学团队在 SeeClick(ACL 2024,arXiv:2401.10935)里把它单独拆出来做成预训练任务:让模型专门练”按指令在截图上框出目标元素”,并配套发布 ScreenSpot 基准。结论是 grounding 精度和下游任务成功率正相关——点得准是这类 Agent 的前提。
4.3 模型侧的答案:UI-TARS 不再”套壳”
早期做法是给 GPT-4o 套一大堆手写 prompt 和流程。字节跳动的 UI-TARS(arXiv:2501.12326)反其道而行:训练一个原生 GUI agent 模型,只吃截图、直接输出键鼠动作的统一格式。论文报告它在 OSWorld 上 24.6 分(50 步)反超 Claude 套壳方案的 22.0。后续 UI-TARS-2(arXiv:2509.02544)靠多轮强化学习把 OSWorld 推到 47.5、WindowsAgentArena 50.6——进步很快,但比 OSWorld 上人类的 72.36% 仍低约 25 个百分点。
4.4 长程任务的真相:平均一个任务点 318 下
OSWorld 2.0(arXiv:2606.29537,论文报告值)把任务换成真人干活的完整工作流:人类中位要花 1.6 小时完成一个任务,Claude Opus 4.7 平均要调用 318 次工具(1.0 版本只有约 30 次)。即便如此,最强配置在 500 步上限内也只完成 20.6%。论文里有一个反直觉的观察:前沿模型已经不怕基础点击了,它们真正输在”中途进来的信息漏看了、约束记丢了、该问用户时自己瞎猜、做完不验证”。这和我在自己的 Agent 评测里遇到的失败类型很像,不过这只是印象,我没有做过系统统计。
4.5 评测本身有坑:不看屏幕的盲放脚本都能赢
这是我读这批论文时觉得最值得警惕的一篇。Meta 的《Computer Use at the Edge of the Statistical Precipice》(arXiv:2605.08261)做了个思想实验式的实验:写一个 1MB 的回放脚本,从不截图、从不观察,盲目重放录好的动作序列,结果它在一批静态 benchmark 上跑赢了前沿模型。根因是评测环境太”死”(页面不变、校验太松、pass@k 用错)。作者据此提出了一套叫 PRISM 的环境设计原则(细节见原文)。放到内部评测上:computer use 类 Agent 的通过率高得可疑时,先查评测环境是不是静态的、校验是不是太松,再去夸模型。
4.6 退路:能调工具就别用手点
OSWorld-MCP(arXiv:2510.24563)直接让 Agent 在每一步自由选择”点 GUI”还是”调 MCP 工具”。结果(论文报告值):有了 MCP 工具,OpenAI o3 在 15 步预算下的成功率从 8.3% 升到 20.4%,Claude 4 Sonnet 在 50 步下从 40.1% 升到 43.3%。但论文还报告了另一个数:即便最强的模型,工具调用率也只有 36.3%。给了更短的路,模型也不一定会走。 这比 Browser Agent 那篇「给结构化通道就行」多了一层:接口要接上,还得让模型愿意用、知道什么时候用。
五、算一笔账:一次 computer use 任务烧多少钱
这笔账里只有「318 步/任务」来自论文(OSWorld 2.0 报告值)。每步的 token 数和耗时都是我的假设,列在下面,换成你自己的数重算就行:
- 每步:一张 1024×768 截图按约 1000 image token 算,系统提示加上下文按 4000 input 算,输出 400 token,合计约 5400 token。
- 318 步累计:约 172 万 token/任务。这个数偏低:上下文会随步数一路变长,固定按 4000 算是下限。
- 同一任务走 API/MCP、5 步完成、不带截图:5 × 4400 = 2.2 万 token。
- 差距:约 78 倍 token、64 倍步数。
step = 1000 + 4000 + 400 # 每步 token(假设值)
gui, api = step * 318, 5 * (4000 + 400)
print(gui, api, round(gui / api), round(318 / 5), 318 * 15 / 60)
# 1717200 22000 78 64 79.5
时间上,按每步 15 秒(同样是假设)算,318 步约 80 分钟,和人类中位的 1.6 小时(96 分钟)差不多。它省下的是人盯着屏幕的那段时间,总耗时并没有明显缩短。
我的判断(观点,非论文结论):短期内 computer use 补的是没有接口的那块长尾。有 API 的地方用 API,剩下的界面才轮得到它。
六、什么时候该让 Agent “用电脑”
| 场景 | 该不该启用 computer use | 理由 |
|---|---|---|
| 目标软件有 API / MCP | 不该 | 1 次调用对几百次点击,按第五节的账成本差几十倍 |
| 纯网页操作 | 优先 DOM/AX,截图兜底 | 结构化树又便宜又准 |
| 老桌面软件、无接口的行业系统 | 该 | 没有别的通道,这是唯一解 |
| 有副作用的操作(付款、提交、删数据) | 必须人在环上确认 | 点错坐标就是真的误操作 |
| 长程、跨软件的复杂工作流 | 谨慎,步数预算卡死 | OSWorld 2.0 里 Opus 4.7 平均要 318 步,而且仍会漏看约束 |
看到 Used computer 时先查什么
Agent 能走 API 就走 API,有 DOM 就读 DOM,两样都没有才轮到截图点坐标。所以 tracing 里的 Used computer 既不是智能高光,也不是 bug,它在告诉你:这个软件没给 Agent 留接口。
下一步(约 10 分钟):翻你自己最近一次 Agent tracing,把里面所有 Used computer 的 action 字段导出来数一数——如果一个本该有 API 的任务里出现了超过 10 次 left_click/type,大概率是那条路的结构化接口没接上,去补接口,别去调 prompt。
参考来源
工程实践:
- Anthropic 官方文档:Computer use tool(action 枚举、分辨率建议、沙箱实现要求;分辨率建议 2026-11-04 重新核对)
arXiv 论文(文中引用的数字均为论文报告值):
- OSWorld: 2404.07972
- OSWorld 2.0: 2606.29537
- SeeClick / ScreenSpot: 2401.10935
- UI-TARS: 2501.12326;UI-TARS-2: 2509.02544
- Computer Use at the Edge of the Statistical Precipice: 2605.08261
- OSWorld-MCP: 2510.24563