让四个 Agent 都拿到奖励,哪怕只有其中一个交出了正确答案,会发生什么?在 s³ 的数字汇总任务里,它们逐渐学会了先把自己的信息广播出去,再读别人的消息;只奖励自己答对的 Agent,则越来越容易只读不发。
这篇论文最有价值的地方,是把帮助别人成功,也算自己的成功写进训练信号,再观察通信行为怎样改变。它也提供了一组相当具体的限制条件:探索任务依赖预先给出的协作示范;扩到十六人时,信息汇总仍然困难;成功率上的改善也不自动等于实际算力成本下降。
我读完附录后,额外复算了两个问题:论文的效率指标能否跨人数比较,以及探索任务最终领先的 9.4 个百分点有多少在强化学习前已经存在。后文会给出完整算式和脚本。这些是对指标与表格的分析,没有重新训练论文模型。
四份私有历史,加上一份团队成绩
论文是 Kunal Jha 等人的 《s³: Simple Scaling of Swarms via Cooperative Multi-agent RL》,本文依据 2026 年 11 月 5 日提交的 v1。
把它想成四个调查员:每人有自己的笔记本,可以给别人发消息,但不能直接翻看别人的笔记。最终只要有人破案,全组就算成功。
在系统中,四个 Agent 是同一个语言模型的四个运行实例,共享模型参数,各自保留输入、推理、工具结果和消息记录。这里的强化学习(RL),就是让模型多次尝试任务,根据最终得分调整生成行为;多智能体强化学习(MARL)把这个过程放到会互相影响的多个 Agent 身上。
flowchart LR
W[同一套模型参数] --> A[Agent A:私有历史]
W --> B[Agent B:私有历史]
W --> C[Agent C:私有历史]
W --> D[Agent D:私有历史]
A <--> M[异步消息板]
B <--> M
C <--> M
D <--> M
A --> R[任一成员成功:计算团队奖励]
B --> R
C --> R
D --> R
R --> U[比较同题的不同团队尝试]
U --> W
协作行为由私有历史、消息协议、奖励和团队间比较共同影响。改变消息机制,会改变信息来得及被利用的程度;改变计分方式,会改变帮助同伴是否值得;增加人数,则同时增加可探索的路径和需要处理的信息。
s³ 之所以需要显式通信,是因为任务信息和工具结果保存在各自的历史里。如果所有人始终共享完整状态,汇总私有数字这个任务就不再需要先发送和读取数字了。
这里也要区分两件事:论文没有预设谁是领导、谁是专家,但人仍然设计了消息工具、通知机制、提示词和任务奖励。附录 G 甚至明确建议分享证据、避免重复探索。学到的是在这些条件下如何行动。
消息到达,不等于对方已经读到
方法 §3.1 与附录 F 的通信协议,有一个容易忽略的细节:消息内容不会自动灌进对方正在写的推理。
Agent 调用 message(to, text) 发送消息,to 可以是某个队友,也可以是 all,后者表示广播。接收者先得到未读数量通知,再自行调用 read_messages() 读取正文。发送消息既不自动读取收件箱,也不等待回复。
如果接收者正在生成,通知会在当前生成请求结束后插入。每个请求最多生成 1,024 个 token——token 是模型计量文本的基本单位。这是生成分块的上限,不是 Agent 一次思考的总长度;它可以继续生成后续块。
这让“先把已知事实发出去”有了实际意义。如果大家先花很长时间思考,再看到别人通知后忙于读取,自己独有的信息可能始终没被发出。论文在附录 K.2 追踪到了这类轨迹。
但这也限制了对“自私”的解读。个体奖励下的沉默可以用公共品困境解释;不能据此推断模型在有意识地盘算抢功。附录对推理文本的规则分析发现,提到奖励或功劳的回合很少,通知打断与后续收件箱行为也是机制的一部分。
先理解分数,再理解团队版 GRPO
只需要三种数学操作
后面的公式用到占比、平均和相对高低。
占比就是“用了多少 ÷ 一共有多少”。用完整个预算,占比为 1;用一半,占比为 0.5。论文的成功奖励从 1 开始,按预算占比最多减去 0.25,因此成功时用满预算得 0.75,用一半得 0.875,失败得 0。这些数直接来自论文奖励公式。
平均数用来表示同一道题上其他尝试的通常水平。标准差衡量这批分数分散得多开。某队的分数减去平均,再除以标准差,就是把“高出多少”换成可跨题比较的尺度。正值表示高于本组平均,负值表示低于平均。
成功优先,省 token 是成功后的偏好
论文公式 1 可以写成:
其中, 是团队是否成功,成功为 1,失败为 0; 是全队实际生成的 token 总量; 是人数; 是每人的生成预算。 表示取两个数中较小的一个,把扣分比例封顶。
任何成功都至少得 0.75,超过失败的 0。所以模型不会因为省 token 而把失败变成更高分。失败不扣 token 成本,也避免了“反正做不对,不如立即退出”获得额外优势。
成功的定义取决于任务:数字汇总只要有人交出完整正确的列表;探索只要有人真正走到出口。它不要求全员答对或达成共识。支援者可以不亲自完成最终解答,仍然分享成功奖励。
比较单位从一条回答变成一整队尝试
GRPO,即组相对策略优化,核心是让同一道题的多个尝试互相作为参照。本站的 DeepSeek-R1 解读介绍过它在单模型回答中的用法。s³ 把参照单位换成团队。
同一道题采样 个独立团队,每队都有自己的消息板和历史。对第 队,计算:
是这八队的平均分, 是分数标准差, 是防止分母为零的小数。 叫优势值:该队每个成员自己生成的 token,都得到同一个优势信号。
于是,发送数字、读消息、探索房间、私下推理,都可能因为团队表现更好而被强化。系统提示、收到的消息和工具输出只作为上下文,不被当成 Agent 自己生成的训练目标。损失先在队内对生成 token 取平均,再在团队间平均,避免长篇大论的队伍获得更大权重。公式 2–3 与附录 C–D 给出了具体定义。
这沿用了合作式多智能体学习中共享回报的思路,省掉了逐个估计成员贡献的步骤。代价也明确:成功团队里的无用动作可能一起得到正反馈。共享奖励提供了合作激励,却没有精确识别每句话究竟帮了多少忙。
实际训练还要处理一个问题:采样时的模型与更新中的模型可能已不相同。探索实验使用 IcePop 排除生成概率变化过大的 token,再用 score centering 修正这种排除带来的更新偏差。它们处理的是异步训练与数值精度造成的分布差异,团队共享优势的计分方式不变;实现细节见附录 A.1。
数字汇总必须合作,探索则必须打赢独立尝试
论文的两类任务,给通信设置了不同的考题。
数字汇总中,每人只知道一个用英文表示的整数,范围为 1–99。团队需要按大小列出所有人的数字,相同数字属于不同人时必须保留重复项。难点包括区分发送者、处理重复消息、确认所有人都已报告。§4.2 将它用作必须汇集分散信息的测试。
探索任务中,每人位于同一棵房间树的独立副本,位置互不影响。岔口有三个向下分支,相邻层之间需要走十步;强化学习与评测使用深度三的树,共有 27 个候选出口,即三层分支的 ;房间数则是起点加各层走廊,。所有人看到相同的门顺序,容易沿着同一条路反复搜索。通过报告认领的分支和已排除的路径,通信可以让探索分散开来。附录 H 给出了生成规则。
探索中,单个 Agent 本来就能成功,所以需要强基线:best-of-N 是运行 N 个互不通信的独立尝试,只要有一个成功就算成功。 它在本实验中按是否走到出口判定,不需要再用模型挑选答案。
假如独立尝试每次成功概率为 ,一次失败为 ,独立失败 次为 ,那么至少一次成功就是:
这是独立性假设下的解释公式,不能直接拿单人的平均成功率预测所有混合难度任务。它说明了实验比较的原则:增加人数本来就可能提高成绩,通信必须证明额外价值。
信息汇总则可能随人数增加而变难。§4.1 用一个简化模型说明:如果每次完整的信息转移独立地以概率 成功,一个接收者拿齐其余 人信息的概率为 。这不是实测通信成功率,而是解释规模压力的模型。
9.4 个百分点有条件,六个评测种子也有范围
实验用 Qwen3-0.6B 做信息汇总,用 Qwen3-1.7B 做探索,训练团队均为四人,强化学习 200 次更新。探索先做 50 次参数更新的监督微调(SFT):用示范轨迹让模型模仿工具使用和搜索行为。附录 A、I、L 描述了训练设置。
以下均为论文报告的留出集成绩,具体采用附录表 7–9 的口径;不要混用表 6 中训练期间窗口均值。
| 比较 | 报告结果 | 应怎样理解 |
|---|---|---|
| 四人信息汇总 | s³ 93.2%;成功轨迹在线 SFT 34.9%;个体奖励 12.5% | 共享奖励在这个任务上明显优于两项控制 |
| 四人探索,对独立 best-of-4 | 89.6% 对 80.2%,领先约 9.4 个百分点 | 多重比较校正后未达统计显著 |
| 六人探索,对独立 best-of-6 | 领先约 7.3 个百分点 | 校正后仍显著 |
| 四人探索,对关闭通信 | 领先约 19.3 个百分点 | 校正后仍显著,支持通信有贡献 |
| 四人探索,对可通信的个体奖励 | 个体奖励组 90.6%,s³ 89.6% | 未检出显著差异,不能说共享奖励在这里更好 |
| 四人探索,不做 SFT | s³ 13.5%,独立 best-of-4 15.1% | 无显著优势,不能把结果解读成从零学出高水平协作 |
“未达显著”不等于证明没有效果。论文同时检验多个比较,采用 Bonferroni 校正,收紧偶然看见差异的判断标准。摘要里最高的 9.4 个百分点,需要和这个条件一起读。
评测使用 32 个固定留出问题,每个问题运行六个评测种子;先在每个种子内对问题取平均,再计算跨种子的均值和标准误。论文明确承认每个条件只有一次训练运行。六个评测种子衡量的是给定训练结果的评测波动,不能当成六次独立训练的复现。
扩编也有任务差异。八人信息汇总仍明显领先控制组,摘要报告超过 25 倍;但这是对接近失效的基线算出的相对倍数,不能理解成成功率接近满分。到十六人,各方法都遇到困难。探索到较大人数时,独立搜索也接近成功率上限,s³ 的领先并不随人数持续扩大;表 8 中十二人探索的成功率差为约 −1.6 个百分点。
训练前的差距是 3.1 个点,训练后变成 9.4 个点
我把表 7 的起点和终点放在一起,复算了一次:
- s³:84.9% → 89.6%,增加 4.7 个百分点。
- 独立 best-of-4:81.8% → 80.2%,减少 1.6 个百分点。
- 起点差距:84.9 − 81.8 = 3.1 个百分点。
- 终点差距:89.6 − 80.2 = 9.4 个百分点。
- 差距扩大:4.7 − (−1.6) = 6.3 个百分点。
这给出了一个比最终排名更准确的理解:最终的 9.4 个百分点同时包含已有的起点差距,以及两条训练轨迹后来扩大的差距。 不能把终点全部归为 RL 新学出的协作。
这里的 SFT 也超出了展示工具语法。脚本示范会广播认领分支,报告已排除分支,读消息,并在同伴排除当前分支时回退。独立组使用相同搜索树和随机种子生成无通信示范。它们匹配了问题与探索机会,但示范内容本来就不同。附录 L 对此写得很清楚。
因此,这一减法是表格拆解,不能当成协作收益的因果分摊。它没有单独控制 SFT 内容、通信、共享奖励和后续训练之间的交互,也没有给出差距变化的置信区间。可确认的是:探索任务有很强的示范起点,RL 在这个起点上进一步改变了表现。
数字汇总不经过这一步 SFT,因而“从基座模型学出有效交换”的证据在那个任务上更直接。把两个任务合并成一句“组织完全自发涌现”,会抹掉这一差别。
成功率和实际消耗不变,人数翻倍也会让效率指标翻倍
另一个值得复算的地方,是附录 M 定义的 token efficiency:
是成功率, 是包括失败尝试在内的平均全队生成 token 数。也就是成功率除以平均预算使用比例。
在相同人数、相同个人预算下,这个指标适合比较两种策略。但跨人数时,分子中的 也在变化。
我用论文公式做了一个条件推导:固定成功率为 1,固定实际 token 总量为 ,只把团队规模从训练时的四人换成评测中的八人、十六人。这里没有假造模型成绩;这是检查指标在同样实际开销下会怎样变化。
| 人数 N | 实际生成总量 | 奖励 R | 效率 E | E / N |
|---|---|---|---|---|
| 4 | 4L | 0.7500 | 1.0 | 0.25 |
| 8 | 4L | 0.8750 | 2.0 | 0.25 |
| 16 | 4L | 0.9375 | 4.0 | 0.25 |
实际花费和成功率都没变,奖励与效率却升高了,因为同样的消耗占更大团队预算的比例更小。这正符合论文希望按预算比例扣分的设计,但也说明:跨人数 E 上升,不能单独证明每个实际 token 更有产出。
把公式移一下就能得到适合回答另一个问题的量:
当 固定时,跨人数比较 ,才与成功率除以实际生成量成正比。若人数翻倍,需要 E 也翻倍,才能维持相同的这一比值。这是由指标定义推得的结果,不是论文报告的一项新实验。
同理,在成功、未触及扣分封顶时,多生成一个 token 所减少的奖励是 。团队规模翻倍,同样一条冗余消息对应的奖励扣分会减半。这个设计没有让消息数量本身变得免费,却让固定长度消息的归一化成本随扩编降低。
下面是我实际运行的验算代码,只用 Python 标准库;输入来自论文公式、四人训练规模和八人、十六人评测规模:
python3 - <<'PY'
from fractions import Fraction
for n in (4, 8, 16):
spent_fraction = Fraction(4, n) # 固定 T=4L,故 T/(NL)=4/N
reward = 1 - Fraction(1, 4) * spent_fraction
efficiency = 1 / spent_fraction
print(n, f'{float(reward):.4f}',
f'{float(efficiency):.1f}', f'{float(efficiency/n):.2f}')
print(round(84.9 - 81.8, 1), round(89.6 - 80.2, 1),
round((89.6 - 84.9) - (80.2 - 81.8), 1))
PY
运行输出:
4 0.7500 1.0 0.25
8 0.8750 2.0 0.25
16 0.9375 4.0 0.25
3.1 9.4 6.3
这并不推翻同人数的对照结果:同一个 N 下,归一化因子相同。它限制的是从规模曲线直接得出省钱结论。论文图 10 还提供了全队实际生成量,应该一起看;要讨论部署成本,进一步还得记录输入与消息读取、工具等待、实际延迟及硬件利用率。论文的 E 没有包含这些成本。
从广播协议到分支认领,组织是怎样具体改变的
信息汇总里,论文观察到训练后期约八成团队采用每人广播一次的结构;Agent 逐渐减少读信前的长篇思考,先把自己独有的信息发出去。§6 的轨迹分析支持这种行为变化。
这与分布式系统里先传播本地状态、再合并信息的做法相通。发送自己的数字,直接收益落在别人身上;共享回报使这个动作对发送者也有训练价值。
广播一次也有规模成本。每个人只调用一次发送工具,全队有 N 次调用,但投递给其他成员的数量是 。每份历史要容纳另外 人的信息。论文没有让这个成本消失,所以从四人有效泛化到八人,并不推出无限扩展。
探索里,通信发挥的是另一种作用:减小不同实例的搜索相关性。模型相同、门顺序相同,多个实例可能反复选第一扇门;提前认领路径和报告排除结果,可以把它们分散到不同分支。
这也解释了共享奖励为何没有在探索里明显胜过个体奖励。收到别人的探索结果,本来就可能帮助自己找到出口;两类任务的利益结构不同。工程上应先辨认信息是不是必须跨成员汇集,再决定需要怎样的激励。
论文还用 room overlap 衡量访问重叠。附录 M 定义它为 : 是每人访问过的不同房间数相加, 是全队访问房间的并集大小,两者都排除共同起点。这个比例包括进入不同深层分支前不得不经过的公共走廊。表 9 报告 s³ 相对关闭通信的组下降约 0.19;这支持访问重叠降低,不能直接兑换成工具费用下降相同比例。
怎样把这篇论文用到现有 Agent 系统
我认为最值得借鉴的是它的评测拆分:先看独立尝试能做到多少,再看通信增加多少,再看奖励设计改变多少。现有系统若只拿一个 Agent 对比四个互通消息的 Agent,就混在一起测了算力、通信和调度。
至少保留同人数的独立 best-of-N、可通信但只奖励自己的组、可通信且共享奖励的组。给它们相同的任务和个人预算,并记录成功率、全队实际生成量、读取消息产生的输入量、重复工具调用和完成延迟。这样才有机会判断应该改奖励、改消息协议,还是只需增加独立搜索。
迁移到代码任务还有一个重要差异:论文中每个 Agent 的环境位置互不影响,探索者不会把另一个人的房间改掉。多个编程 Agent 修改同一份代码会有写冲突、测试相互污染和提交顺序问题。这些没有被本文实验覆盖,不能从分支搜索成功直接推出共享仓库协作可靠。
小结
s³ 证明了一种具体可行的训练方式:让会互通消息的 Agent 按团队结果学习,它们能在小型任务里改善信息交换与搜索分工。数字汇总展示了共享奖励对主动分享的作用;探索展示了在协作示范起点上进一步学习的收益。
读它的扩展结果时,把成功率、实际 token 数和预算比例放在一起。团队总预算增加,会让相同实际消耗占用的预算比例下降;要判断扩编是否划算,应再看成功率除以全队实际生成量。