一个 Agent 修好问题,可能要反复找文件、读日志、试改动、跑检查。每一步都交给最贵的模型,账单会随着工作轮数一起涨。Meta 在 2026 年 11 月 9 日发布的 Muse Ember,瞄准的就是这些高频执行步骤。
这篇发布的主张是:把足够好的执行能力做便宜,让大模型的判断可以被大量执行。 这跟“谁在最难的问题上得分最高”是两个问题。原文提供了一个新模型;下面几篇论文,则帮助解释这种分工为什么可能成立,以及什么时候会失效。
我把发布页的成本图重新算了一遍。一个值得注意的结果是:Ember 的两个点都处在图中样本的成本前沿,但 Haiku 和 Luna 各自最便宜的点也留在前沿上。因此,“效率前沿”不等于每个预算下只有一个赢家。
文章里的新计算来自公开表格,附完整 Python 脚本;没有调用 Ember API,也没有复现模型性能测试。
先把一次交付拆成四件事
把 Agent 想成一个能操作工具、观察结果并继续行动的程序。模型负责选择下一步,外面的程序负责真的运行命令、保存状态和检查结果。包住模型的这层程序通常叫 harness,可以从这篇站内文章继续了解。
一次工作大致可以拆成下面四件事:
flowchart LR
A[判断任务与制定计划] --> B[执行局部步骤]
B --> C[检查结果是否合格]
C -->|合格| D[交付或继续下一步]
C -->|证据不足或失败| A
大模型可以负责第一件,小模型可以承担第二件,代码和测试可以承担第三件。但这只是分工方案,收益取决于四个量:每步调用价格、需要执行的步数、检查成本,以及有多少任务最后仍要升级到大模型。
便宜模型如果多跑很多轮,成本未必低;检查器如果总把错误放过去,交付质量会下降;每个任务都要重做一遍,小模型就成了额外开销。后文所有计算都围绕这四件事。
这里的 token 是模型处理文本等内容时使用的计量单位,不能固定换算为一个汉字或一个英文单词。上下文窗口是一次调用能接收的内容容量,容量大也不保证每个细节都被正确使用。
蒸馏把训练时的昂贵,换成部署时的便宜
Meta 表示,Ember 是首个使用 Muse Wonder Full 训练的模型。这个描述说明了大模型参与训练,但仅凭发布页和评测报告,还不能还原参与方式、训练数据配方或模型参数量。不能据此补写出一套已经得到证实的蒸馏算法。发布说明
不过,它与知识蒸馏的思路相通。Hinton、Vinyals、Dean 在 2015 年的《Distilling the Knowledge in a Neural Network》中,把学习知识与部署知识分开考虑:训练时可以用庞大模型或模型集合,部署时则让更小的模型学习其行为。
传统分类任务中,老师能给出的信息多于一个正确标签。例如,它还可以表达哪些错误答案比较接近正确答案。学生学到这种答案之间的关系,可能比只背标准答案学得更好。论文用老师给出的类别概率作为监督信号;这里的概率,可以简单理解成模型给各个候选答案分配的可能性。
到语言模型时代,还可以把老师生成的解释作为训练材料。《Distilling Step-by-Step!》研究的就是用大模型的解释与标签共同训练较小的任务模型。它提供了一条具体证据:在论文限定的任务与实验设置下,老师的解题说明可以帮助学生以较少数据学会任务。
这篇论文不能证明 Ember 采用了相同方法,也不能证明一个小模型能全面超过老师。它支持的更窄结论是:大模型的价值可以通过训练数据转移到小模型,最终服务请求时不必每次都调用老师。
这是理解大小模型分工的研究背景,不能用来解释 Ember 具体便宜在哪项技术上。API 定价也受商业策略影响,无法反推出训练或硬件成本。
成本图重算后,最便宜的竞争者仍然有位置
先补一个读图方法。假设两个服务完成同一套测试,一个更贵且成绩更低,那么在这两个维度上就没有选择它的理由。若一个更贵也更好,则选择取决于你愿意为多一点成绩付多少钱。
把那些找不到“更便宜且成绩不低”替代者的点留下来,就得到了 Pareto 前沿。它描述一组可选的权衡,不会自动选出唯一冠军。
下面是Meta 发布页成本图中的原始点,模型分别是 Muse Ember、Claude Haiku 5.5、GPT-6 Luna。A、B、C、D 是本文按同一模型成本递增添加的编号,并非官方推理档位名;每个点对应一种推理强度,即不同的思考预算。
图采用 2026 年 11 月 9 日的 Artificial Analysis Intelligence Index v5 数据。这是汇总知识、专业工作、编程等不同测试的综合指数,不是答对任务的百分比。成本沿用该评测的每任务口径并按模型标价计算;发布页特别注明 Ember 使用拟定价格估算。它不是你的业务平均账单,也不包含你额外配置的检查和返工。本文未独立复核 AA 的原始运行记录。
| 模型与点位 | 每任务美元 | 指数 |
|---|---|---|
| Ember A | 0.116 | 33.9 |
| Ember B | 0.136 | 35.8 |
| Haiku A | 0.092 | 24.6 |
| Haiku B | 0.159 | 29.6 |
| Haiku C | 0.248 | 34.3 |
| Haiku D | 0.411 | 36.2 |
| Luna A | 0.073 | 21.4 |
| Luna B | 0.104 | 23.3 |
| Luna C | 0.152 | 27.8 |
Ember A 比 Haiku B 和 Luna C 都便宜且分数更高;Ember B 又比 Haiku C 便宜且分数更高。但是,Ember 没有比 Haiku A、Luna A 更便宜,也没有达到 Haiku D 的最高分。
因此,重新枚举后的前沿由五个点组成:两个 Ember 点、Haiku A、Haiku D、Luna A。这里仅检查表中九个点,不能据此宣称穷尽整个市场。
我还算了沿前沿提高成绩的边际价格:
- Ember A 到 B:多花 0.020 美元,指数提高 1.9,每提高一分多花约 0.010526 美元。
- Ember B 到 Haiku D:多花 0.275 美元,指数提高 0.4,每提高一分多花 0.687500 美元。
这个差异说明,接近图中最高分时,额外成绩的标价变化很大。但综合指数的一分并不对应固定业务价值,不能把两段相除就宣称某个模型的业务效率高了多少倍。
原文“三分之一成本”的说法也可以核对:0.136 ÷ 0.411 ≈ 0.330900。对应的分数是 35.8 与 36.2,相差 0.4。它支持“相近综合成绩下成本约三分之一”的读法;缺少误差范围与重复运行信息时,不能进一步判断这点分差是否具有统计意义。
我的选型判断是:先给任务设最低可接受质量,再在满足质量的配置里比成本。 单看一个“每分多少钱”的比值,会掩盖低预算任务与高质量任务的差别。
FrugalGPT 提醒我们:升级条件比小模型单价更关键
训练时让大模型教小模型,是一种成本转移;运行时让便宜模型先做、必要时升级,是另一种。
后者可以从《FrugalGPT》理解。它研究模型级联:先询问较便宜的模型,再用学习得到的评分函数决定是否接受答案,否则继续调用后面的模型。论文在特定问答数据集上报告了成本收益,不应把那些收益直接外推到长流程 Agent。
它有一个容易被忽略的细节:接受答案的条件需要设计和学习。论文中的实例使用独立评分模型,而非简单地问答题模型“你确定吗”。该评分器读取问题与候选答案,用训练样本上答案是否正确的信号学习评分,再由阈值决定是否接受。模型自己报出的自信程度可能有用,但不能保证拦住自信的错误。
对于工程任务,我更愿意优先使用可检查的证据:补丁能否通过相关测试、抽取字段能否在原文中定位、工具操作后的系统状态是否符合要求。这些检查也会有盲区,因此必须记录漏掉了什么错误。
可以推导一个最小成本条件。先用小数理解:小模型已经花掉的钱无法收回;若检查失败再找大模型,就要把两笔钱相加。
设小模型平均成本为 c,检查成本为 v,升级比例为 q,升级后的平均调用成本为 b,那么:
平均成本 = c + v + q × b
如果直接使用大模型的平均成本也等于 b,且两种方案的交付质量达到同一要求,那么便宜的条件是:
q < 1 - (c + v) / b
拿表中的 0.136 与 0.411 做价格敏感性演示,暂时忽略检查开销,得到 q < 0.669100。意思是:在这些平均成本假定下,若超过约 66.91% 的请求仍需完整调用一次昂贵模型,先走小模型这一步就无法省钱。
66.91% 是基于图表均价的推导值,不是 Ember 级联的实测升级率。 真实升级的通常恰好是难题,b 可能高于大模型在完整测试集上的平均成本;传入失败历史也会增加输入。因此,这个演示只能教会算账方法,实际部署必须换成同一业务样本上测得的条件成本。
如果小模型与大模型的调用成本相同,这种先尝试再升级的方式就不再有同样的省钱空间。级联利用的正是不同难度的请求可以购买不同成本的计算。
两段复算放进一个脚本,几秒钟即可检查
下面的代码只用 Python 标准库。输入为前面的发布页表格;第一部分重新枚举前沿,第二部分检查边际价格与升级界限。保存为 ember_cost_check.py 后运行:
python3 ember_cost_check.py
不需要账号,不产生 API 费用。
rows = [
("Ember-A", .116, 33.9), ("Ember-B", .136, 35.8),
("Haiku-A", .092, 24.6), ("Haiku-B", .159, 29.6),
("Haiku-C", .248, 34.3), ("Haiku-D", .411, 36.2),
("Luna-A", .073, 21.4), ("Luna-B", .104, 23.3),
("Luna-C", .152, 27.8),
]
front = [n for n, c, s in rows if not any(
c2 <= c and s2 >= s and (c2 < c or s2 > s)
for _, c2, s2 in rows
)]
print("frontier:", ", ".join(front))
print("Ember-B vs Haiku-D cost ratio:", f"{.136/.411:.6f}")
print("upgrade cost per index point:",
f"{(.136-.116)/(35.8-33.9):.6f}",
f"{(.411-.136)/(36.2-35.8):.6f}")
print("cascade escalation ceiling:", f"{1-.136/.411:.6f}")
本地实际输出:
frontier: Ember-A, Ember-B, Haiku-A, Haiku-D, Luna-A
Ember-B vs Haiku-D cost ratio: 0.330900
upgrade cost per index point: 0.010526 0.687500
cascade escalation ceiling: 0.669100
这段脚本验证的是算术与前沿判定,没有测试模型能力。
OSWorld 教我们区分“做了一部分”与“完成任务”
评测还有另一条线:到底在量什么?
OSWorld 原始论文把 Agent 放进真实电脑环境,给定初始状态、任务和可执行的结果检查。它关注的是 Agent 操作后有没有把事情办成。例如,能找到表格应用,与把文件改对并保存到指定位置,是不同层级的成绩。
这对理解 Ember 的评测很重要:Meta 的表同时给出 OSWorld 2.1 的部分得分 69.5 和严格完成率 33.8。部分得分衡量平均完成了多少要求,严格完成率衡量有多少任务满足全部要求。评测报告第 4 页说明了其内部运行方式。
这两个指标测量的对象不同,不应直接相减来描述完成率提升,更不能把 69.5 写成“约七成任务能自动交付”。原始 OSWorld 论文也不能直接用来验证这次 2.1 版本的成绩:版本、任务和运行框架都要对齐。
这给实际评测一个明确启发:分别记录完成了哪些子目标,以及是否达到最终交付标准。你可能很愿意接受一个能完成大部分资料搜集的助手,却无法接受一个只完成部分要求的自动付款流程。
另外,Meta 评测报告第 3 页说明,Terminal-Bench 使用的框架并不相同:Ember、Haiku、Luna 分别搭配 mini-swe-agent、Claude Code、Codex。它们可以用于比较对应系统的交付表现,但无法单独证明同一框架下哪个基础模型更强。
这正是为什么换模型时应该保留一组固定任务和固定检查方式。否则模型、工具、提示、重试次数一起改,最后很难知道收益来自哪里。
长上下文会改变账单,也会改变任务拆法
发布页标注的基础价格是每百万输入 token 0.10 美元、输出 0.50 美元;脚注说明,超过 200K 输入后,对应费率变为 0.30 与 1.50 美元。它同时宣称支持 1M 上下文。价格与脚注
因此,能装下完整资料集,不意味着应该每次装下完整资料集。费率和输入量会同时影响账单;不要自行把超过阈值的计费理解成“只有多出的部分加价”,具体结算应以服务计费文档和实际用量记录为准。
如果一个执行步骤只需修改一个模块,让它反复读取整个仓库,会把局部任务变成长上下文任务。另一方面,过度裁剪也可能让它漏掉跨模块依赖,导致返工。
我会把任务拆分与评测一起做:先给局部执行器提供目标文件、相关依赖、验收条件,失败时再补充证据或升级模型。每次扩展上下文都记录有没有减少返工。这样才能判断多花的输入费用有没有换来更高的交付质量。
从一个能验收的执行步骤开始
重算后有五个配置留在前沿,说明最低预算与最高质量仍可能对应不同模型。级联的升级比例也没有一个通用阈值:它取决于困难请求实际花多少钱,以及检查漏掉了多少错误。
可以先挑一个带原文位置的字段抽取任务,固定输入和检查方式,记录小模型费用、升级后的费用、最终是否合格。下一次算 b 时,用这批真正升级的难题均价替换表里的 0.411,再看先用小模型是否省钱。
选型时要问:在同一套验收要求下,交付一个合格结果到底花了多少钱?
参考来源
工程发布与评测:
- Meta:Introducing Our Smallest, Most Efficient Model: Muse Ember,2026-11-09;定位、成本图和价格脚注。
- Muse Ember Evaluation Report;评测配置、框架与指标口径。它是评测方法说明,不能替代训练技术报告。
- 站内:什么才是好的 Harness;理解模型之外的执行与检查层。
相关论文:
- Hinton、Vinyals、Dean,Distilling the Knowledge in a Neural Network,2015:训练与部署分离、软目标监督。
- Hsieh 等,Distilling Step-by-Step!,2023:把大模型解释用于小模型训练。
- Chen、Zaharia、Zou,FrugalGPT,2023:以评分函数控制模型级联。
- Xie 等,OSWorld,2024:以真实环境最终状态评价电脑操作任务。