读者问:“你们有打牌的过程数据吗?能从里面分析出建议吗?“有。189 个事件文件,总 1.6 GB,每次模型请求的 observation + choices + result + latency + tokens 都整段落盘。本文扫 6 场、1126 条决策记录,直接量出 4 个可以变成新门禁指标的信号——其中最硬的那条有一条验证到底的案例:rev 303,地主剩 2 张,农民让单 9,assessment 自己写着「地主剩2张」还是选不出,下一轮地主用 A 收尾赢了。
上一篇 讲了 7 个 harness 手段,有读者问能不能从真实过程数据里挖出新的问题。这篇就做这件事。所有数字都来自 racing/private/landlord-events/*.json,命令随文附。
过程数据长什么样
每一场比赛(cards-xxxxxx.json)里有:
events:外部可见事件流(出牌/发言等),30-500 条/场records:每次模型决策的完整档案,100-300 条/场frames:UI 帧config/config_hash:封存配置access:导演/选手权限分片runtime:当前状态快照
真正能挖的是 records。每条记录大致长这样:
{
"player": "agent-01",
"revision": 303,
"observation": {
"phase": "playing",
"seat": 1, "landlord": 0, "leader": 0,
"hand": [{"id": 24, "rank": 7, "label": "7", ...}, ...],
"hand_counts": [2, 6, 4], # ← 三家余牌数
"current": [36], # ← 桌上当前牌 (card id)
"team_context": {...},
"public_card_ledger": [...], # 三家已出的所有牌
"coach": None, # 若有人类教练指令
"decision_facts": {...}, # harness 预算的事实卡
...
},
"choices": [
{"index": 0, "action_key": "pass", "cards": []},
{"index": 1, "action_key": "play:30", "cards": [{"id": 30, "label": "10"}]},
...
],
"result": {
"index": 0, # ← 模型选了哪个
"action_key": "pass",
"speech": "先不动,看队友能否接这单9",
"assessment": "地主剩2张,我留6张;不出让队友处理9单...",
"tokens": 4245, # ← 本次请求的 token 数
"latency": 2.77, # ← 本次请求的秒数
"record": {"request": {"model": "tencent/Hy4-preview", ...},
"response": {...}} # 完整原始 request/response
}
}
完整原始 request + response 都在。这意味着——不仅能看到模型选了什么,还能看到它当时接收到的输入是什么、抛回来的原始字符串是什么。想复算 harness 到底传了啥、模型到底回了啥,一条命令的事。
一行命令级的扫描:6 场 1126 条决策
先量一遍整体分布。用 Python 遍历 6 个代表性场次:
# 命令大意(完整脚本在 output/landlord/)
for fn in ['cards-186d63f2c6ef.json', 'cards-022229d524c3.json', ...]:
D = json.load(open(fn))
for r in D['records']:
obs, res = r['observation'], r['result']
# 按 phase / seat / role / model / win-available 分桶
一轮扫描跑出来的结果:
决策级概览
| 指标 | 数值 |
|---|---|
| 决策记录总数 | 1126 |
| 其中 playing-phase 决策 | 925 |
| 有「立即获胜」候选的场面 | 27 次 |
| 其中真的选中获胜动作 | 27 次(100%) |
| 有合法出牌却主动过牌 | 73 次(7.9%) |
| assessment 字符数 p50/p95/max | 24 / 45 / 68 |
第一个硬数据:这 6 场里立即获胜命中率 100%,和前一篇讲的那 8 条 missed-win 旧 incident 对照——说明 landlord_grounding.py 新加的 immediate_team_win_indices 字段是起作用的。但 6 场的样本量不足以推广到全部 189 场,这里只能说”在本扫描的样本里 missed-win 已消失”。
分模型延迟 / token 消耗(40 场扫描)
把扫描扩大到 40 场、13 个模型,p50/p95/max 延迟和 tokens:
| 模型 | n | p50 延迟 | p95 延迟 | max 延迟 | p50 tokens | p95 tokens |
|---|---|---|---|---|---|---|
| tencent/Hy4-preview | 1323 | 2.77 s | 3.79 s | 15.88 s | 4104 | 6402 |
| DeepSeek V4.1 Flash(SiliconFlow) | 995 | 2.73 s | 4.24 s | 40.70 s | 5922 | 11943 |
| z-ai/glm-4.5 | 492 | 6.32 s | 7.90 s | 11.33 s | 6156 | 8674 |
| deepseek-v4.1-flash(OpenRouter) | 413 | 1.39 s | 2.75 s | 14.20 s | 3464 | 4755 |
| z-ai/glm-5.3-prime | 376 | 2.72 s | 10.38 s | 55.30 s | 6585 | 12542 |
| deepseek-flash(直连) | 320 | 1.23 s | 1.55 s | 3.12 s | 1766 | 3551 |
| qwen/qwen3.7-flash | 148 | 2.13 s | 2.92 s | 4.22 s | 3288 | 3674 |
| Qwen/Qwen3.5-122B-A10B | 143 | 1.52 s | 2.49 s | 13.41 s | 7591 | 12564 |
| moonshotai/kimi-k2.5 | 127 | 2.71 s | 4.82 s | 15.19 s | 3109 | 3643 |
读这张表我有三条判断:
- GLM-4.5 的 p50 延迟 6.32 s 显著高于其它。要让观众 session 不卡,它可能要上独立的调用预算(例如同时允许 2-3 席而不是 8 席)。
- GLM-5.3-prime 的 p95 到 10.38 s、max 55.30 s——这个长尾不可忽略。它的 tokens p95 也最高(12,542),说明长尾来自”模型自己想得久”(更多输出 token),不是网络抖动。
- 直连 DeepSeek Flash 的 token 消耗最省(p50 1766、p95 3551)——同一个模型通过不同网关,不同路由做了不同程度的额外注入或模板展开,p50 token 差了 3-5 倍。这不是模型差异,是harness/路由侧的差异。
这三条每一条都可以直接变成一个 observability 看板。
真正的新发现:voluntary pass 的分布
73 次 voluntary pass(有合法出牌却选不出)按阵营和当前牌权拆开:
| 本席角色 → 当前牌权 | 次数 |
|---|---|
| farmer → teammate(让队友) | 39 |
| farmer → landlord(让地主) | 25 |
| landlord → farmer | 9 |
39 次让队友——合理,这是斗地主常见战术(对子让王炸、给队友走小牌)。9 次地主让农民——地主无队友,这些要么是等队友帮忙(不存在)要么是真失误,比例小。
最可疑的是中间那 25 次「农民让地主」。这类场面存在两种解释:
- 合理:地主剩很多张、本席想保留控制张等关键时机
- 可疑:地主剩很少张、本席能压却不压、把牌权白白送给地主收尾
按地主剩余牌数拆这 25 次:
| 地主余牌数 | 次数 | 判定 |
|---|---|---|
| 1 张 | 1 | ⚠️ 高危 |
| 2 张 | 1 | ⚠️ 高危 |
| 3 张 | 1 | ⚠️ 高危 |
| 4 张 | 1 | ⚠️ 高危 |
| 7-8 张 | 3 | 中性 |
| 10-13 张 | 8 | 多数合理 |
| 14-18 张 | 10 | 几乎全部合理 |
4 条高危在望。每一条都值得人工复盘。我验证了其中最刺眼的一条(rev 303)——
案例 rev 303:地主剩 2 张,农民让单 9
seat=1 landlord=0 leader=0 (本席是农民,当前牌权在地主手里)
hand_counts=[2, 6, 4] ← 地主只剩 2 张!
本人手牌: ['7', '8', '9', '10', 'J', 'Q']
桌上当前牌: ['9'] ← 地主出的单9
合法候选:
idx=0 key=pass → (不出)
idx=1 key=play:30 → 10 ★
idx=2 key=play:35 → J ★
idx=3 key=play:39 → Q ★
模型选: index=0 ← 不出
assessment: 地主剩2张,我留6张;不出让队友处理9单,保留连张收尾
模型明确知道地主剩 2 张(assessment 第一句就写出来了),明确知道自己有 10/J/Q 都能压过单 9,还是选了不出。
接下来发生了什么?我把 rev 303 前后 ±6 条拉出来:
rev=301 seat=0 → 9 '先出单9保留A控制,试探下家并留出口'
rev=303 seat=1 → (不出) '地主剩2张...不出让队友处理9单' ⚠️
rev=305 seat=2 → K '压地主单9取权,留三张K可后续收尾走牌'
rev=307 seat=0 → A '压单K夺权,留单3下一轮再出,争地主胜'
rev=309 seat=1 → (不出) '仅能强制过牌,待队友接单A再争剩余出口'
队友(seat 2)果然接上了 K 压住单 9——但地主马上用 A 把 K 压回去。局面变成地主剩 1 张且拿牌权。这局农民输了。
rev 303 不是唯一变量,但它是一个可以避免的让权。如果 rev 303 的 10/J/Q 任意一张压上去,地主的 A 要么必须压(消耗一张)要么过(让农民自由领出)。两种后续都比”让地主继续控权”好。
分模型的「地主残局让权」倾向
把 “farmer, 地主余≤5张, current 是单张, 本人有合法单张能压, 却选不出” 作为一个可自动检测的危险信号,看哪些模型容易触发:
| 模型 | 符合危险场面 | 其中选不出 | 触发率 |
|---|---|---|---|
| tencent/Hy4-preview | 9 | 3 | 33% |
| deepseek-ai/DeepSeek-V4.1-Flash(SiliconFlow) | 11 | 1 | 9% |
| deepseek/deepseek-v4.1-flash(OpenRouter) | 6 | 0 | 0% |
| z-ai/glm-4.5 | 3 | 0 | 0% |
| Qwen/Qwen3.5-122B-A10B | 2 | 0 | 0% |
Hy4-preview 在这个窄场景下 3/9 触发。6 场样本不大,但分化很明显——其它模型都是 0%,它一枝独秀。这就是本篇的第一个新门禁候选:
# 新门禁指标候选:farmer_endgame_pass_to_landlord
# 触发条件:
# phase == 'playing' AND
# actor_role == 'farmer' AND
# current_leader == landlord AND
# landlord_remaining <= 5 AND
# len(current) == 1 AND
# 有合法单张能压过 current AND
# model 选了 index=0 (pass)
# 门禁阈值建议:触发率 ≤ 5%,超过的模型暂缓开放
这个指标为什么强:它不依赖人工打分,不依赖 LLM-as-a-Judge;全部可从 records 字段用 20 行 Python 自动算。你不需要一个”精彩评审员”坐在那里打分,门禁可以自动跑。
另外 3 个候选
候选 2:assessment / action 事实一致性
从前一篇讲的 output_contract 之上再加一层:assessment 里出现的点数名要和 after-hand 一致。
最小实现:对每条 record,正则抽取 assessment 里所有点数提及(3/4/…/K/A/2/小王/大王、“对/三/炸弹”等),和模型实际选的候选打完之后的 after_hand 对照。例如 assessment 说”保留对 K”但 after-hand 只剩一张 K——不一致,记一次 assessment_fact_mismatch。
为什么硬:assessment 是模型的私有推理摘要,它和 action 的 after-state 不一致意味着模型在自己骗自己——这正是前一篇 strategy-incidents.json 里反复出现的问题类型。可自动化。
阈值建议:触发率 ≤ 10%。
候选 3:延迟预算分模型配
目前所有模型共享”每桌 8 席并发”的调度上限。但 GLM-4.5 的 p50 已经 6.3 s、GLM-5.3-prime 的 max 55 s——同桌一旦摊上两席慢模型,观众会直观感到”卡”。
最小实现:按模型 p95 延迟分档,自动降低其在同桌的并发额度。例如 p95 > 8 s 的模型限制为同一赛事最多 1 席(而不是 3 席均可)。
为什么硬:这不是出牌质量门禁,是可用性门禁。观众 session 的流畅度直接受影响。
候选 4:token 用量跨网关对账
同一个 DeepSeek Flash 模型,不同网关 p50 token 差了 3-5 倍(1766 vs 5922)。这不是模型本身的差异,是 harness/路由侧的模板/系统提示注入导致。
最小实现:按 (model, gateway) 组合算 p50 token,对比预期基线(直连通常最小)。偏差 > 1.5× 的要触发一次”路由审查”——这不是封禁,是提示有东西在悄悄膨胀 context。
为什么硬:全场 60 席 9000 次调用上限 × 多出来的 token,是真金白银的额外成本。1.5× 对账是最温和的告警。
挖出来的建议,一句话打包
- 立即落地的新门禁:
farmer_endgame_pass_to_landlord,20 行 Python 可实现,阈值 ≤ 5%。目前已识别 Hy4-preview 在此指标上异常(3/9 = 33%)。 - next-tier 门禁:assessment 事实一致性正则比对,阈值 ≤ 10%。
- 可用性门禁:按模型 p95 延迟分档限并发;GLM-4.5 / GLM-5.3-prime 当前应降档。
- 成本观测:按 (model, gateway) 对账 token p50,偏差 > 1.5× 触发路由审查。
每一条都来自 1126 条真实决策记录,不是设想。每一条都可以在不改模型、不加人工评审的前提下跑起来——这正是上一篇讲的「用 harness/门禁撬动弱模型玩法」思路的直接延续。
通俗总结
过程数据不是”存着备查”的日志——它是可挖掘的失手检测矿。
把 1126 条决策记录当成一个表格来读,一列是模型想干啥(action)、一列是模型自己写的解释(assessment)、一列是局面事实(observation)、一列是花了多久多少 token。这几列横着对照一下,就能找出所有「模型自己承认不该这么干但还是这么干了」的 case。
今天挖到的最硬的那一条,是地主剩 2 张时农民让单 9。模型 assessment 里写得清清楚楚”地主剩2张”,手里 10/J/Q 都能压,还是选了不出。这不是看不见,不是算不准——是知道了但没对接到动作上。前一篇 harness 手段 3 的 decision_anchor 讲身份/牌权幻觉,这类是另一种更深的——事实对了、动作错了。
一句能复述给同事的话:不要相信「模型跑完了没报错」等于「打得合理」。把每次决策的 observation / choice / assessment 落盘,20 行 Python 就能当场挑出一堆靠眼睛看不出的硬错。
诚实的边界
- 6 场扫描是本篇所有核心数字的样本(1126 条决策、925 条 playing-phase)。延迟/token 表扩大到 40 场(约 5000+ 条决策)。不是全史 189 场。
- 「立即获胜命中率 100%」只在这 6 场成立。前一篇讲的 8 条 missed-win 来自更早的
multimodel-v3批次,它们不在本次扫描内,所以不能说”问题已经消失”。 - 「Hy4-preview 3/9 触发 farmer_endgame_pass_to_landlord」的分母 9 仍然很小。单独得出”这个模型比其它差”的结论不够;但作为需要在全史 189 场重跑一遍的强候选信号,已经足够。
assessment事实一致性正则比对我没有实际跑一次全扫描,只给出设计。实际实现时正则会不会误报(例如 assessment 里”地主还剩 2 张”的”2”被当成牌点”2”)需要迭代。- rev 303 的下游验证只覆盖了前后 ±6 条记录范围——我没证明”如果 rev 303 改出 10/J/Q,这局农民必胜”,只证明了”按模型的 pass 走下去,地主拿到 A 控制权并最终收尾”。局面胜负是多因素,rev 303 是可以避免的让权,不是唯一致败因。
- 本文的”门禁候选”全部还只是候选。实际加入门禁要(a)在全史 189 场跑验证,(b)通过 CONTRACT.json 式的 freeze/review 流程,(c)回链到
quality-batch-v*/verdict.json——这篇只做”挖出来给大家看”这一步。
参考来源
本项目源码 / 数据
racing/private/landlord-events/cards-*.json(189 场原始事件)racing/private/landlord-events/cards-0c98087727a8.jsonrev 303——本文详述的「地主剩 2 张让单 9」案例racing/landlord_grounding.py:38-48——availability.immediate_team_win_indices字段,支撑本次 100% 命中率racing/landlord_output_contract.py——现有合约层
站内相关
- 《弱模型斗地主的 7 个具体手段》——本篇的手段清单前作
- 《当斗地主玩家是弱模型:harness 和门禁各能把 25.9% 推到哪》——概念篇,解释 harness / 门禁 / 可拆成「合法性必须 100%」+「精彩率按档位」