AI 能完成越来越难的题,为什么把一项工作完整交给它,仍然让人不放心?
带着这个问题读姚顺雨、Karpathy、Hassabis、李飞飞、LeCun 和 Dario,能看到一条清楚的分界:有人在改造任务和评测,有人在寻找更好的世界表示,也有人开始追问,谁有资格批准下一轮能力扩张。
我认为,最值得跟踪的是他们如何定义“完成”,以及拿什么证明完成。 模型总分更高,是否就值得让它直接操作订单?这个问题需要他们各自关注的证据。
本文检索截止 2026 年 11 月 8 日。以下是围绕研究路线选出的六位代表,不是影响力排名,也不涵盖所有重要人物。“近期材料”指本次核到的公开来源;没有完整爬取所有社交账号,不宣称穷尽每个人的最新发言。
| 人物与代表性工作 | 本次核读的近期材料 | 最值得带着读的问题 |
|---|---|---|
| 姚顺雨:ReAct、SWE-bench、τ-bench 等共同作者 | 2026-06-05 腾讯云大会对谈,实录 06-08 发布;另读 2025-04-10《The Second Half》 | 评测是否测到了用户实际需要的能力? |
| Andrej Karpathy:OpenAI 创始成员、AI 教育者 | 2026-10-31《HackerTube》;04-30 的 Sequoia Ascent 总结 | 当 Agent 执行大部分工作,人还负责什么? |
| Demis Hassabis:DeepMind 联合创始人、AlphaFold 路线代表 | 2026-11-06 发布的 Masters of Scale 访谈,录于 10 月;07-14 的治理框架文章 | AI 改进 AI 时,怎样保留独立检查? |
| 李飞飞:ImageNet、空间智能路线代表 | 2026-09-28《To Seek a Newer World》;06-03 World Labs 世界模型分类文章 | 模型是否理解空间和行动后果? |
| Yann LeCun:深度学习先驱、AMI 执行主席 | 2026-11-03 NTU 演讲的主办方记录,11-06 发布;AMI 技术纲领 | 预测语言是否足以走向人类水平智能? |
| Dario Amodei:Anthropic 联合创始人 | 2026-09《We Must Pace the Frontier》 | 能力增长的速度,是否超过了验证与控制的速度? |
先约定几个词。Agent 是会读环境、调用工具、根据结果继续行动的系统;评测是判断它是否完成任务的规则。强化学习让模型根据反馈改善行为;世界模型试图预测环境及行动后果。它们在这里连成一个过程:理解需求 → 采取行动 → 观察变化 → 判断结果。模型是其中一环。
姚顺雨:模型进步之后,问题定义变得更值钱
姚顺雨值得持续读,因为他的工作同时碰到了行动机制和衡量机制:ReAct 把推理与行动结合起来,SWE-bench 和 τ-bench 则追问模型究竟能否完成真实任务。代表作及作者关系可从本人主页核对;该主页标注最后更新于 2025 年 2 月,不能用它判断现任职务。
《The Second Half》写于 2025 年 4 月 10 日。核心判断是:随着通用训练方法成熟,研究的重心需要向问题定义和评测迁移。尤其应质疑两种默认设置:一次给齐信息、让模型独自做完;每做一项任务就重置系统,让它无法利用此前处理同一项目的经验。后者要求测试跨任务的信息保留,具体用上下文、外部记忆还是训练更新实现,需要另做比较。
今年 6 月的完整对谈把这条主张说得更具体:真实用户的输入常常短、模糊、需要追问;产品能提供上下文、工具和反馈。因此,模型与产品需要共同设计。
对做企业 Agent 的人,我的推论是:先收集那些必须追问才能完成的请求。比如“把上次那个报价改一下”,真正缺少的是客户、版本、改价权限和目标条件。用一条已经写全上下文的标准题测试,恰好会绕开产品最难的部分。
但“评测更重要”不意味着基础模型研究已经结束。姚顺雨在对谈中也强调基础训练和前沿探索;把他的观点缩成“只做应用就行”,会漏掉原文的一半。
Karpathy:Agent 能做得更多,人仍要理解交付物
Karpathy 的博客目录本次列出的最新文章是 10 月 31 日的《HackerTube》。他记录了用 Agent 整理 Hacker News 中推荐的视频并做成网站的过程,自述耗时约两小时。购买域名、启动服务器和创建一个 API key 仍由他操作。这个时间是作者的项目记录,不能直接推广成团队生产效率。
这比单独转发“编程变快了”更有用:它展示了人从逐行实现转向提出需求、提供资源和指导交付。
在 4 月的 Sequoia Ascent 总结中,他把专业 Agent 工程的要求说得很清楚:提速同时保住质量标准,人继续对软件负责。其《Verifiability》则解释了为什么进展不均匀:能反复尝试、低成本运行并自动判分的任务,更容易获得训练上的快速进步。
我的理解是,代码生成便宜以后,最值得投资的能力包括:写清验收条件、辨认可疑结果、设计工具权限,以及理解足够多的业务来发现“测试全绿但事情做错了”。已有软件验证文章讨论过这个压力,这次要继续追问:验收本身有没有测错?
我换了一种加权方式,τ-bench 的“不到一半”就越过了 50%
这是阅读人物观点时很容易忽略的一步:先检查他们所谈论的数字。
姚顺雨等人的 τ-bench 初版论文表 2 报告,GPT-4o 的零售任务成功率为 61.2%,航空为 35.2%,平均为 48.2%。表注明确说,这个平均按领域等权计算。表 1 又给出零售 115 道任务、航空 50 道。
我用这些公开输入复算了一遍。如果把两个领域各算一半,得到原文的 48.2%;如果每道任务权重相同,按已四舍五入的分项成绩估算,则约为 53.3%。读者可以用 Python 3 直接重算:
python3 - <<'PY'
retail, airline = 61.2, 35.2
domain_equal = (retail + airline) / 2
task_equal = (retail * 115 + airline * 50) / 165
print(f'domain_equal={domain_equal:.4f}%')
print(f'task_equal_approx={task_equal:.4f}%')
print(f'gap={task_equal-domain_equal:.4f} percentage_points')
PY
本次实际输出:
domain_equal=48.2000%
task_equal_approx=53.3212%
gap=5.1212 percentage_points
模型没有变,只改变统计口径,“低于一半”就变成了“高于一半”。 原论文并没有算错:领域等权可以避免任务更多的零售场景主导结果。按任务数加权也没有天然更正确,它只是回答了另一个问题。
这项复算不代表重跑了模型,也不描述 2026 年模型的当前能力。它揭示的是:一个总分默认携带了一组业务权重。生产里航空与零售的流量比例、损失和人工接管成本,通常都不会刚好对应论文的设置。
所以,拿总分选供应商之前,先问三个问题:这个平均按什么加权?我的真实请求分布是什么?哪些失败的代价更高?如果退款金额错误与一句话措辞不佳都只算一次失败,总分就会抹平业务上最重要的差别。
李飞飞与 LeCun 都谈世界模型,但不能把他们合并成一条路线
李飞飞在 9 月的本人文章中重申:许多重要问题要求模型理解物理世界的结构和行为,语言本身不足以覆盖。她也解释了与 AMD 整合模型、系统和硬件的意图。这里应以 AMD 同日公告区分交易状态:双方签署了收购协议,当时预计年底前交割,不能仅凭这篇文章写成收购已经完成。
6 月的 World Labs 分类文章提供了实用区分:有的系统输出画面,有的模拟环境状态,有的输出行动。生成漂亮视频、维持可信的物理结构、规划机器人动作,对应不同要求。这里是团队与李飞飞共同阐述的研究方向,不能把产品展示自动当作机器人部署验证。
LeCun 的主张更尖锐。NTU 对 11 月 3 日演讲的记录显示,他继续质疑 LLM 通往人类水平智能的路线。其 AMI 纲领强调:忽略传感器数据中难以预测的细节,在抽象表示中预测行动后果,再据此规划。
“抽象表示”可以理解为保留与任务有关的状态:搬杯子时,需要关心位置、支撑和碰撞,不必逐个预测杯面反光。这个解释是帮助理解路线的例子,不是 AMI 的实测能力。
两人的共同关注是空间、状态和行动;技术押注仍有差别。李飞飞的文章讨论结合生成式模型与多视角几何,从已有图像预测新视角;AMI 强调在抽象表示中预测,避免花力气生成难以预测的感官细节。两者不必完全排斥:一个系统可以把内部预测状态转成画面。但生成什么、在哪里预测、怎样验证,仍是必须分别回答的技术问题。
NTU 的同一篇记录还保留了学者的反对意见:世界模型并不会消除不确定环境中的决策难题,语言也仍是知识与人类交互的重要支撑。它是主办方报道,本文没有核听整场录像,不能当逐字稿使用。
对实际项目,我会检查系统在动作之后,是否还能保持对象、规则和目标一致。图片编辑要检查同一物体跨视角是否一致;仓库机器人还要检查碰撞和接触;订单 Agent 要检查修改后的账与授权。这是验收思路上的类比,不表示三者需要同一种世界模型技术。
Hassabis 与 Dario:评测开始决定谁能继续加速
Hassabis 在 11 月 6 日发布、10 月录制的 Masters of Scale 访谈中,把缺少人类审查的闭环递归自我改进视为特别需要谨慎的阶段。“递归自我改进”在这里指 AI 参与改进后续 AI 的过程;它不等于系统已经能无限自主升级。节目文字稿为自动生成,应按访谈记录理解。
他的 7 月文章提出一个前沿 AI 标准机构构想,包括更新测试、引入第三方评估,以及逐步建立独立于实验室的保留测试。
Dario 的 9 月文章《We Must Pace the Frontier》进一步主张控制前沿能力增长的节奏,并提出让外部评估者长期进入实验室,获得足够访问权限、报告风险与事件。这些是作者的判断、提案和承诺,不等于制度已经全面落地。原文也包含鲜明的美国地缘政治立场,不能把整套政策偏好当作中立技术结论。
我认为,两篇材料值得对照读的地方是评估者的独立性:如果开发者既选择任务、又定义成功、再决定公布哪些结果,单纯增加评测数量仍可能没有解决利益冲突。
这对普通团队也有一个小规模版本:用 Agent 写代码,再让同一个 Agent 自述检查通过,证据仍集中在同一条生成链里。保留未给生成者看过的验收样例、检查实际变更与运行结果,可以提高发现遗漏的机会。它们不能证明绝对安全,却比一句“已完成”更可追查。
METR 复算:50% 成功率的进步,不能原样搬到 80%
把上述观点用于模型选择,还需要分清“有机会完成”和“较稳定完成”。
METR 的任务时长页面同时提供 50% 和 80% 成功率的估计。这里的时间,是人类专家完成同类任务所需的时间,用来表示任务难度,不是 Agent 能连续运行多久。页面注明最后更新于 2026 年 9 月 8 日,且已停止维护;以下使用该存量快照,不是 11 月最新模型排名。
METR 根据不同任务的完成结果,拟合任务时长与成功概率之间的曲线,再找出曲线达到 50% 或 80% 的位置。同一个模型要求成功率更高,通常就只能覆盖更短的任务;两个位置相隔多远,还取决于拟合曲线下降的快慢。
我下载其 TH 1.1 原始 YAML,提取四个模型配置。表中时间单位为分钟,最后一列由我计算:
| 模型配置(省略后缀) | 50% 成功率时长 | 80% 成功率时长 | 两者比值 |
|---|---|---|---|
| Claude Opus 4.5 | 292.99 | 49.43 | 5.93 |
| Claude Opus 4.6 | 718.81 | 69.87 | 10.29 |
| GPT-5.3-Codex | 349.53 | 54.74 | 6.39 |
| Gemini 3.1 Pro | 384.15 | 89.80 | 4.28 |
比较 Opus 4.5 与 4.6 的中心估计:50% 一列从 292.99 增至 718.81,约 2.45 倍;80% 一列从 49.43 增至 69.87,约 1.41 倍。这两个倍数是我的复算,不是一次新的模型实验。
两列都在进步,但不能用前一列的增长倍数替代后一列。我的项目推论是:需要减少人工接管时,至少应同时看更高成功率要求下的结果;真正的接管率仍要在自己的业务上测量。
这个比较也有统计限制:Opus 4.6 的 50% 时长的 95% 置信区间约为 316.69—3633.79 分钟,80% 时长对应的区间约为 27.03—170.44 分钟。95% 是 METR 图表提示标注的置信水平,与完成任务的 50%/80% 成功率是两件事。区间反映估计的不确定性;不能据这些中心值宣称两种增长率的差异已得到显著性检验。METR 的任务以软件、机器学习和网络安全为主,且任务定义比许多真实工作更清楚,也不能把结果外推成所有职业的自动化时长。
以下是本次运行的复算方法。需要 Python 3 和 PyYAML(用 python3 -m pip install PyYAML 安装);脚本校验下载内容的 SHA-256,即文件指纹,确保输入与本文一致。若源文件变化会停止,不会悄悄算另一版:
python3 - <<'PY'
import hashlib, urllib.request, yaml
url = 'https://metr.org/assets/benchmark_results_1_1.yaml'
raw = urllib.request.urlopen(url).read()
expected = 'aae31902b0519a4da73e16643915e5e8aca13cd3315c3aac893ce3d6dfe92ad9'
assert hashlib.sha256(raw).hexdigest() == expected, 'source snapshot changed'
r = yaml.safe_load(raw)['results']
names = ['claude_opus_4_5_inspect', 'claude_opus_4_6_inspect',
'gpt_5_3_codex', 'gemini_3_1_pro']
for name in names:
m = r[name]['metrics']
a = m['p50_horizon_length']['estimate']
b = m['p80_horizon_length']['estimate']
print(f'{name} p50={a:.6f} p80={b:.6f} ratio={a/b:.2f}')
old, new = [r[n]['metrics'] for n in names[:2]]
for key in ['p50_horizon_length', 'p80_horizon_length']:
growth = new[key]['estimate'] / old[key]['estimate']
print(f'{key} growth={growth:.4f}x')
PY
本次运行输出:
claude_opus_4_5_inspect p50=292.994594 p80=49.430584 ratio=5.93
claude_opus_4_6_inspect p50=718.806830 p80=69.874587 ratio=10.29
gpt_5_3_codex p50=349.530732 p80=54.739407 ratio=6.39
gemini_3_1_pro p50=384.147435 p80=89.801503 ratio=4.28
p50_horizon_length growth=2.4533x
p80_horizon_length growth=1.4136x
把这组结果与 τ-bench 的复算放在一起,我得到一个更具体的判断:评测的业务权重与可靠性要求,足以改变我们对同一组能力结果的解读。 谈论 AI 进步时,如果没有这两个条件,“能用了”和“还不行”可能只是回答了不同的问题。
六个人的分歧,怎样变成自己的项目决策
从控制系统到强化学习,都需要用反馈修正下一步动作;这批观点让人重新检查反馈究竟漏了什么。评分遗漏用户授权,重复优化也不会自动补出授权;模拟遗漏接触和摩擦,视频再逼真也不能证明机器人能抓稳物体。如果这些目标都能准确、低成本地自动判定,许多专门评测和人工检查才有条件简化。
根据这次阅读与复算,我会按项目暴露的具体缺口安排工作:
| 你的项目现象 | 优先参考谁 | 下一项具体工作 |
|---|---|---|
| 用户追问后,原先的成功答案失效 | 姚顺雨 | 把多轮澄清和连续任务纳入验收 |
| 代码交付很快,人工检查队列越来越长 | Karpathy | 保留质量标准,记录修复与复核耗时 |
| 画面可信,动作后的状态却不可信 | 李飞飞、LeCun | 分别验证视觉、结构、行动后果 |
| 生成者的自评总是很好,独立检查却发现遗漏 | Hassabis、Dario | 设置独立验收,检查证据与访问权限 |
对个人学习,我会先精读姚顺雨与 Karpathy,把需求、工具、反馈、验收连起来;涉及三维场景或机器人时,再比较李飞飞与 LeCun;开始扩大系统自主权限时,回到 Hassabis 与 Dario。需要更宽的作者入口,可以接着看本站的AI 研究与工程作者阅读清单。
读完之后,先改一项验收
这六位人物没有给出同一个答案。姚顺雨与 Karpathy 帮我们审视任务、工具和验收;李飞飞与 LeCun 追问模型如何表示世界;Hassabis 与 Dario 把检查者和开发者的关系也纳入问题。本文的两次复算则说明:读到一个能力总分,先弄清它代表谁的任务、允许多高的失败率。
花十分钟,从自己的工作里选一个最近交给 AI 的任务,补写三句话:什么结果才算成功;哪种错误即使其他部分都正确也必须判失败;除了 AI 自述,还能检查什么证据。再拿这张纸读他们的下一篇文章,你就能判断新观点改变了自己的哪一个决策。
参考来源
本人文章、完整访谈与机构记录
- 姚顺雨:The Second Half,2025-04-10;腾讯云大会对谈实录,2026-06-08 发布。
- Karpathy:HackerTube,2026-10-31;Sequoia Ascent 总结,2026-04-30;Verifiability,2025-11-17。
- 李飞飞:To Seek a Newer World,2026-09-28;World Labs 世界模型分类,2026-06-03;AMD 收购协议公告,2026-09-28。
- LeCun:NTU 演讲主办方记录,2026-11-06;AMI 官方技术纲领,页面未标发布日期。
- Hassabis:Masters of Scale 完整访谈,2026-11-06;A Framework for Frontier AI,2026-07-14。
- Dario:We Must Pace the Frontier,2026-09。
论文与复算数据
- 姚顺雨等:τ-bench 初版论文,2024-06-17,表 1、表 2。本文保留初版口径,未用它描述当前模型水平。
- METR:任务完成时长定义与方法说明;TH 1.1 原始 YAML。本文的模型比较来自 2026-11-08 下载并校验的存量数据,页面最后更新于 2026-09-08。