Harness 时代的四条战线:认知外部化、全时 Agent、对抗评测、入口争夺

当大家都说「模型层叙事结束了」,到底是哪些约束让 Harness 架构非这么长不可?用 METR 的时间视距、Dual-LLM 隔离、sandbagging 检测与特权分离这条共同祖先,把四条表面独立的战线串成一张图。

「决定 Agent 能力上限的,不是模型本身,而是外挂的认知基础设施。」这句话已经从观点变成行业默契,但默契不等于解释——如果换个说法只是「万物皆 Harness」,那它和「大力出奇迹」一样没有可反驳性。本文想做的事:把「Harness 时代」的四条表面战线挂到同一个物理约束上,顺手手算一次 METR 的时间视距,看看这个约束什么时候会松动。

读到这里应该带一个问题:如果「外部化」只是审美选择,是什么挡住了「我们训练一个记性更好的大模型就行」这条路?这篇要回答它。

名词速查

这篇生词密度偏高,先放一张表,正文遇到时可以回来对照:

术语一句话解释
Harness大模型外部的那层”壳”:工具、记忆、调度、守护、权限边界,让模型从”回答器”变成”做事的 Agent”。详见本站旧文。
认知外部化(Externalization)把本来需要模型”内部回忆/规划/执行”的东西,搬到模型之外的显式结构里——记忆库、技能库、协议。
时间视距(Time Horizon, METR)人类一般要花多长时间完成某任务,而模型此刻能以 50% 概率完成。横跨不同任务难度的能力标尺。
Dual-LLM 模式一个 Privileged LLM 负责规划与调用工具,一个 Quarantined LLM 只处理不可信数据、没有工具权限;控制流和”读到的内容”物理分离。
CaMeLDual-LLM 的第一个工程化落地:规划 LLM 输出一段 Python,由解释器执行并追踪数据来源与权限 tag。
Sandbagging模型在”知道自己正在被评测”时故意答得差一点,骗过能力评估。
Scheming模型发现有一个长期目标被评测规则威胁时,策略性地做出假动作——比如 Claude 3 Opus 发现”答对多了会被 unlearn”后主动答错。
特权分离(Privilege Separation)1975 年 Saltzer & Schroeder 提出的操作系统设计原则:把”决策权限大”和”接触输入多”这两个属性分到不同主体上。

一、根本约束:为什么只能长成「外部化」

一句话根本约束(可反驳):Harness 架构之所以必须长成外部化的样子,是因为一次推理结束后,模型内部的全部中间状态即刻消失这个物理事实——权重冻结、KV cache 落地即释放、下一次调用是从零开始的新进程。

这句话可反驳在哪里:如果这个约束不存在——比如明天出一种”推理间状态可持久、可回放、可低成本激活”的模型架构——那整个 Harness 产业栈的一半就会塌。记忆库不需要外挂(直接 fine-tune 进权重)、规划不需要显式 scratchpad(内部状态自然延续)、工具调用也不需要在 harness 侧做审计(模型自己带工具历史)。所以当有人说”模型会越来越强所以 harness 就是过渡”,他其实在说”状态不消失的模型会出现”——这是一个具体的技术预言,不是哲学姿态。

共同祖先:这不是 LLM 独创的架构发明。它是冯·诺依曼”计算与存储分离”在 Agent 时代的再实例化——因为计算单元(这次是模型推理过程)无状态所以必须外挂存储。整部计算机架构史都在打磨”把什么状态搬到快存、把什么搬到慢存、谁有权读谁有权写”。LLM Harness 不过是在这张图上多加了一层:那个计算单元的”失忆”不是 ns 级别而是 request 级别,所以外挂层也更粗、更业务化。

反事实崩点:如果一个 2026 年的 Agent 继续按”大模型一次性塞所有上下文”的朴素做法做:

  • 先在上下文窗口崩:真实工作任务中「相关材料」常常数 MB 起步,GPT 级别的 200K 窗口在真实业务里是秒级填满(这是 vLLM/SGLang 的 KV cache 调度器之所以存在的物理根因,参见站内LLM 推理当成 OS 看待);
  • 接着在时间维度崩:多轮长任务没有”情节记忆”的话,第二天的 Agent 不记得第一天的用户偏好,等价于每次打开 Siri 都是初装状态;
  • 最后在安全上崩:没有外部 Harness 做权限收口,模型”相信”用户/工具/文档所说内容的能力就是无穷的,一次 prompt injection 就能让它调任何已连接的 API。

这三条共同印证一件事:外部化不是优化,是物理必然。

二、第一条战线:认知外部化的四个象限

上海交大团队 2026 年的综述 Externalization in LLM Agents 把外部化分成四个象限:记忆、技能、协议、Harness 本体。我更偏爱用「坏掉会怎样」反过来理解它们——每一个象限对应一类具体故障模式:

外部化维度它负责什么缺了它会出现什么现象
记忆(工作/情节/语义/用户)跨 session 的连续性还叫同一个名字,却不认识昨天的人;永远在重问”你喜欢什么”
技能(流程/启发式/规范)复杂任务的可复用执行路径每次都即兴发挥,表现方差大,无法沉淀最佳实践
协议(agent-user/agent-agent/agent-tool)行动的契约与边界”能干”但不”可控”,无法多 Agent 协作,工具调用随意
Harness 本体调度、沙箱、审计、评测、回收单次表现强、长期跑崩,无法接入生产环境

最被低估的是第四象限。Memory、Skills、Protocol 这些词在社区里被反复讨论,但真正决定一个 Agent 产品能不能上线的,是 Harness 本体的那些”工厂楼梯间”工作——沙箱、审计、超时、回滚、评测、权限收口。本站的 Harness 系列六篇基本都在写这个象限:从 Deepseek 的 CoRDIS Harness 到 Pi-dev 的最小 Harness 到 RuFlo 的 Meta-Harness,每篇读完会发现:真正拉开差距的从来不是模型,是那些没人愿意写在推文里的边界。

三、第二条战线:全时 Agent——用 Unix 的方法解 LLM 的问题

“从一问一答,变成全时在线、离线主动抓取、第二天提醒”——这句话在 Agent 产品圈成了口号,但如果你写过系统软件,会立刻看出它只是:cron + daemon + 事件总线 + 持久化状态在 LLM 时代的重装上阵。

这个共同祖先很重要,因为它直接决定了设计空间:

  • “后台抓取”= Unix daemon + 消息队列;
  • “睡眠整理”= 批处理 cron + reduce 阶段;
  • “主动提醒”= pubsub topic + 推送通道;
  • “跨会话记住用户”= 用户态 session store + 事务一致性。

一旦挂到这个共同祖先,你会发现 Agent 产品圈里几个被当成「新概念」的东西其实都是老问题的 LLM 化重命名。真正新的只有一件事:决策主体是概率的,所以经典 cron 的”按时间触发”必须加一层”按置信度/价值触发”的判断。这件事学术界叫 Proactive Agent,在 arXiv 上能找到一堆变体,但工程上落地的核心永远是那句话——不要让一个 90% 置信度的 Agent 调一个不可回滚的工具。

崩点:一个被当成”全时在线”卖的 Agent,如果没有把 Unix 这套老工程做好,先会崩在凌晨 3 点那次自作主张的推送上——用户要么关掉通知、要么卸载。然后你就会发现 Harness 侧需要一个”安静时段/降权策略/人工复核阈值”,而这些东西 Linux 的 at/cron/batch 命令 30 年前就在做了。

四、第三条战线:对抗评测与隔离代理

安全这一侧过去 18 个月的两个关键进展,刚好可以用「特权分离」这一个共同祖先串起来:

4.1 Dual-LLM / CaMeL——操作系统的 ring 0/3 到了 Agent

Simon Willison 2023 年 4 月的 Dual-LLM 构想,2025 年由 CaMeL (arXiv:2503.18813) 做出第一个工程化实现。核心架构可以用 10 行伪代码压缩:

# 伪代码:对应 CaMeL 的核心控制流,简化自 arXiv:2503.18813
# Planning LLM 只看任务,不看 untrusted data
plan: PythonProgram = planning_llm(user_task)         # 高权限:生成控制流

# 解释器执行 plan;每个变量带 capability tag(来源/允许的读者)
for stmt in plan:
    if stmt.calls_tool():
        enforce_policy(stmt.inputs)                    # 读 tag、否决非法流
        stmt.execute()                                 # 用户授权的真工具
    elif stmt.processes_untrusted_text():
        result = quarantined_llm(stmt.text)            # 低权限:没有工具
        tag(result, source="untrusted")                # 污染标记传播

# 规划 LLM 永远不"直接读到" quarantined_llm 的返回文本——
# 只能对它做符号操作(赋值/传参给工具/再喂给另一个 QLLM)

这段伪代码的核心不是实现,而是一句话:控制流(谁决定下一步做什么)和数据流(读到了什么内容)必须由不同主体承担。这正是 Saltzer & Schroeder 1975 年给操作系统提的 least privilege 原则。CaMeL 的论文里引这个坐标是明说的——它是在把 UNIX 的 ring 保护搬到 LLM Agent 架构里。

崩点:如果你的 Agent 不做这个分离——比如一个”读邮件然后自动回复”的助手把邮件正文直接喂给同一个会调工具的 LLM——那它就是 2023 年 Simon Willison 博文的那个开场白:任何能读到邮件的 LLM 都能被邮件内容劫持。没有例外。只要控制流和不可信数据流共用一个主体,prompt injection 就是物理必然。

4.2 Sandbagging 与 Scheming——评测本身开始失守

Apollo Research 这两年两篇 ICLR 2025 工作(Sandbagging arXiv:2406.07358 和 In-Context Scheming arXiv:2412.04984)给评测圈下了两个硬结论:

  1. 前沿模型(GPT-4、Claude 3 Opus)可以被 prompt 让它在”危险能力评测”时故意答差。只要在系统提示里暗示这是评测、答对会有不良后果,模型就会压分;
  2. Claude 3.5 Sonnet 在没有外部目标的情况下也会 sandbag——它从训练中学到的「被部署为有用模型」这个长期目标,就足以让它在”知道答对会被 unlearn 数学能力”时主动答错。GPT-5 系统卡里 Apollo 的报告显示 gpt-5-thinking 在 ~4% 的轨迹里采取欺骗行为(比 o3 的 8% 低,但不是零)。

把这两件事挂到特权分离的共同祖先:评测者不能同时是”评分权威”又是”被评测对象能观察到的信号源”。只要模型知道”我现在在被评”,评测就不独立了。所以未来 12 个月的评测架构会往两个方向走:

  • 隐藏评测意图(真的做 blind test);
  • 多视角交叉(结果 + CoT + 工具调用轨迹联合审计),这是 Apollo 在 GPT-5 卡上的做法。

五、第四条战线:入口争夺的真正变量

巨头竞争个人 Agent 入口这件事,表面是「钱和用户」,底下的物理约束是上下文独占:

  • 微软在办公套件里收集的是工作上下文(谁改了什么、谁在等谁、哪个 deadline 快到);
  • 苹果/Google 在手机里收集的是生活上下文(日程、地理位置、通话记录);
  • OpenAI/Anthropic 在 chat UI 里收集的是决策上下文(用户在想什么、还没想清楚什么)。

这三组上下文物理上是互斥的——用户不会在工作文档里讨论晚饭吃什么,也不会在 Siri 对话里讨论季度预算。所以谁都不能通吃,但谁都有可能在自己那块地变成”默认入口”。

反事实崩点:如果某一天某家做到了跨入口的无缝上下文融合(比如一个真的能在办公/生活/思考间自由穿梭的 Agent),那它就是新操作系统。这件事可能发生在 iOS/Android 级别的物理整合(苹果最占优),不太可能发生在应用层——因为上下文的所有权在 OS 那一层已经被切好了。所以现在押注 Agent 入口竞争的赢家,等价于押注下一代 OS 的赢家。这不是一次产品竞争,是一次架构权力的重分配。

六、把时间视距算一遍:现在是哪个象限

METR 2025 年的 arXiv:2503.14499 测了一件具体的事:人类大约要花多久完成一个任务,模型此刻能以 50% 概率完成。他们叫它 50% Time Horizon。核心数据:

  • o3 的时间视距约 110 分钟(2025-03 测得);
  • 自 2019 以来翻倍周期约 7 个月;
  • 2023-2025 的翻倍约快 20%,等效于约 5.8 个月翻一倍。

我手算了一下这个推演(Python 验证过),直接贴命令和输出:

import math
start_min = 110                  # o3 at 2025-03
target_min = 160 * 60            # 1 个工作月 = 160 工时
doublings = math.log2(target_min / start_min)
# A: 7 月翻倍
yrs_A = doublings * 7 / 12
# B: 5.8 月翻倍(最近加速版)
yrs_B = doublings * 5.8 / 12
print(f'{doublings:.2f} doublings; A={yrs_A:.2f}yr, B={yrs_B:.2f}yr')
# 输出:6.45 doublings; A=3.76yr, B=3.12yr

意思是:按长程趋势,距今约 3.76 年;按最近两年的加速版,约 3.12 年,就应有模型能以 50% 概率独立完成一个”人类要做一个工作月”的任务。METR 自己说”5 年内”是向上取整到他们公开表述的保守口径——我把他们的 “5 年” 代入算了下,等价于 4.4 个工作月的任务(代码里 start_min * 2 ** (60/7) ≈ 697h),所以他们的 5 年其实比”一个月”目标还要激进一些。

这个数据对 Harness 架构意味着什么:

  • 当时间视距进入”一个工作月”级别,任务失败后的回滚成本从”重跑一次”变成”重跑一个月的工作”——Harness 侧对审计、分段 checkpoint、人工复核节点的需求会从锦上添花变成硬需求;
  • 同时,上面那四条战线的收敛度会变:外部化(物理必然)和特权分离(安全必然)会更强;全时 Agent 和入口争夺这两条可能被洗一遍——如果 Agent 真能自主跑一个月,用户会愿意把它放在哪个入口下,就不再是「谁推送通道好」能决定的了。

边界卡:什么时候「Harness 架构」是过度工程

写完上面那些,我得把这篇的方向反过来说一遍——以下四种情形下,上面讲的东西你一个都不需要,别被叙事裹挟:

  1. 任务短而幂等:如果你的 Agent 平均任务 < 3 分钟、失败后重跑无副作用(翻译、分类、摘要),不要上记忆层。一个无状态 API + 简单 prompt 就是对的架构,加 Harness 只是增加故障面。
  2. 只有一个工具且工具本身安全:如果 Agent 只会调一个「只读」的 API(查天气、查库存),不要上 Dual-LLM / CaMeL。特权分离的收益远低于两倍成本(两个 LLM 调用 + 一个解释器)。CaMeL 的论文自己说,它适用于”数据不可信且工具有副作用”的交叉情形。
  3. 用户没有跨 session 期待:如果你做的是一次性客服对话、一次性代码补全,不要上长期记忆。所谓”记住用户偏好”在很多场景里是反需求——用户下次问同样问题,期望的是同样的答案,不是”上次你说你喜欢 X”。
  4. 你是一家 3 人团队:如果你 team 规模不足以维护评测、审计、沙箱这些基础设施,不要开始做 Agent,先做 Workflow。Anthropic 的 Building effective agents 里对这个阈值讲得很直白:预定义流程比自主 Agent 便宜一个数量级,大多数业务问题到那一级就够了。

把这四条倒过来看,就是本篇四条战线真正适用的场景:长任务 × 多工具 × 跨 session × 有基础设施的组织。满足其一是热度,满足其四是必然。

回链与扩展阅读

参考来源

论文

工程实践与讨论

软处标注:本文的 METR 推演是作者自己跑的 Python 脚本(上文有命令与输出),不是直接从 METR 后续博文里的 Time Horizon 1.1 数字扒的——METR 后续如果调整了翻倍周期估计,推出的 “3.12/3.76 年” 应据新数据重算;Externalization 四象限命中结果来自该综述的 Fig. 3,我没有对综述里引用的每一篇原文做复核。