从 1126 条真实决策记录里挖出来的 4 个新门禁候选

扫 6 场 1126 条决策记录。立即获胜命中率 100%、voluntary pass 7.9%,最可疑的是 25 次农民让地主。有一条验证到底——地主剩 2 张农民让单 9,下一轮地主就赢了。

读者问:“你们有打牌的过程数据吗?能从里面分析出建议吗?“有。189 个事件文件,总 1.6 GB,每次模型请求的 observation + choices + result + latency + tokens 都整段落盘。本文扫 6 场、1126 条决策记录,直接量出 4 个可以变成新门禁指标的信号——其中最硬的那条有一条验证到底的案例:rev 303,地主剩 2 张,农民让单 9,assessment 自己写着「地主剩2张」还是选不出,下一轮地主用 A 收尾赢了。

上一篇 讲了 7 个 harness 手段,有读者问能不能从真实过程数据里挖出新的问题。这篇就做这件事。所有数字都来自 racing/private/landlord-events/*.json,命令随文附。


过程数据长什么样

每一场比赛(cards-xxxxxx.json)里有:

  • events:外部可见事件流(出牌/发言等),30-500 条/场
  • records:每次模型决策的完整档案,100-300 条/场
  • frames:UI 帧
  • config / config_hash:封存配置
  • access:导演/选手权限分片
  • runtime:当前状态快照

真正能挖的是 records。每条记录大致长这样:

{
    "player": "agent-01",
    "revision": 303,
    "observation": {
        "phase": "playing",
        "seat": 1, "landlord": 0, "leader": 0,
        "hand": [{"id": 24, "rank": 7, "label": "7", ...}, ...],
        "hand_counts": [2, 6, 4],    # ← 三家余牌数
        "current": [36],              # ← 桌上当前牌 (card id)
        "team_context": {...},
        "public_card_ledger": [...],  # 三家已出的所有牌
        "coach": None,                # 若有人类教练指令
        "decision_facts": {...},      # harness 预算的事实卡
        ...
    },
    "choices": [
        {"index": 0, "action_key": "pass",     "cards": []},
        {"index": 1, "action_key": "play:30",  "cards": [{"id": 30, "label": "10"}]},
        ...
    ],
    "result": {
        "index": 0,                    # ← 模型选了哪个
        "action_key": "pass",
        "speech": "先不动,看队友能否接这单9",
        "assessment": "地主剩2张,我留6张;不出让队友处理9单...",
        "tokens": 4245,                # ← 本次请求的 token 数
        "latency": 2.77,               # ← 本次请求的秒数
        "record": {"request": {"model": "tencent/Hy4-preview", ...},
                   "response": {...}}  # 完整原始 request/response
    }
}

完整原始 request + response 都在。这意味着——不仅能看到模型选了什么,还能看到它当时接收到的输入是什么、抛回来的原始字符串是什么。想复算 harness 到底传了啥、模型到底回了啥,一条命令的事。


一行命令级的扫描:6 场 1126 条决策

先量一遍整体分布。用 Python 遍历 6 个代表性场次:

# 命令大意(完整脚本在 output/landlord/)
for fn in ['cards-186d63f2c6ef.json', 'cards-022229d524c3.json', ...]:
    D = json.load(open(fn))
    for r in D['records']:
        obs, res = r['observation'], r['result']
        # 按 phase / seat / role / model / win-available 分桶

一轮扫描跑出来的结果:

决策级概览

指标数值
决策记录总数1126
其中 playing-phase 决策925
有「立即获胜」候选的场面27 次
其中真的选中获胜动作27 次(100%)
有合法出牌却主动过牌73 次(7.9%)
assessment 字符数 p50/p95/max24 / 45 / 68

第一个硬数据:这 6 场里立即获胜命中率 100%,和前一篇讲的那 8 条 missed-win 旧 incident 对照——说明 landlord_grounding.py 新加的 immediate_team_win_indices 字段是起作用的。但 6 场的样本量不足以推广到全部 189 场,这里只能说”在本扫描的样本里 missed-win 已消失”。

分模型延迟 / token 消耗(40 场扫描)

把扫描扩大到 40 场、13 个模型,p50/p95/max 延迟和 tokens:

模型np50 延迟p95 延迟max 延迟p50 tokensp95 tokens
tencent/Hy4-preview13232.77 s3.79 s15.88 s41046402
DeepSeek V4.1 Flash(SiliconFlow)9952.73 s4.24 s40.70 s592211943
z-ai/glm-4.54926.32 s7.90 s11.33 s61568674
deepseek-v4.1-flash(OpenRouter)4131.39 s2.75 s14.20 s34644755
z-ai/glm-5.3-prime3762.72 s10.38 s55.30 s658512542
deepseek-flash(直连)3201.23 s1.55 s3.12 s17663551
qwen/qwen3.7-flash1482.13 s2.92 s4.22 s32883674
Qwen/Qwen3.5-122B-A10B1431.52 s2.49 s13.41 s759112564
moonshotai/kimi-k2.51272.71 s4.82 s15.19 s31093643

读这张表我有三条判断:

  1. GLM-4.5 的 p50 延迟 6.32 s 显著高于其它。要让观众 session 不卡,它可能要上独立的调用预算(例如同时允许 2-3 席而不是 8 席)。
  2. GLM-5.3-prime 的 p95 到 10.38 s、max 55.30 s——这个长尾不可忽略。它的 tokens p95 也最高(12,542),说明长尾来自”模型自己想得久”(更多输出 token),不是网络抖动。
  3. 直连 DeepSeek Flash 的 token 消耗最省(p50 1766、p95 3551)——同一个模型通过不同网关,不同路由做了不同程度的额外注入或模板展开,p50 token 差了 3-5 倍。这不是模型差异,是harness/路由侧的差异。

这三条每一条都可以直接变成一个 observability 看板。


真正的新发现:voluntary pass 的分布

73 次 voluntary pass(有合法出牌却选不出)按阵营和当前牌权拆开:

本席角色 → 当前牌权次数
farmer → teammate(让队友)39
farmer → landlord(让地主)25
landlord → farmer9

39 次让队友——合理,这是斗地主常见战术(对子让王炸、给队友走小牌)。9 次地主让农民——地主无队友,这些要么是等队友帮忙(不存在)要么是真失误,比例小。

最可疑的是中间那 25 次「农民让地主」。这类场面存在两种解释:

  • 合理:地主剩很多张、本席想保留控制张等关键时机
  • 可疑:地主剩很少张、本席能压却不压、把牌权白白送给地主收尾

按地主剩余牌数拆这 25 次:

地主余牌数次数判定
1 张1⚠️ 高危
2 张1⚠️ 高危
3 张1⚠️ 高危
4 张1⚠️ 高危
7-8 张3中性
10-13 张8多数合理
14-18 张10几乎全部合理

4 条高危在望。每一条都值得人工复盘。我验证了其中最刺眼的一条(rev 303)——

案例 rev 303:地主剩 2 张,农民让单 9

seat=1 landlord=0 leader=0 (本席是农民,当前牌权在地主手里)
hand_counts=[2, 6, 4]  ← 地主只剩 2 张!
本人手牌: ['7', '8', '9', '10', 'J', 'Q']
桌上当前牌: ['9']  ← 地主出的单9

合法候选:
  idx=0  key=pass        → (不出)
  idx=1  key=play:30     → 10   ★
  idx=2  key=play:35     → J    ★
  idx=3  key=play:39     → Q    ★

模型选: index=0  ← 不出
assessment: 地主剩2张,我留6张;不出让队友处理9单,保留连张收尾

模型明确知道地主剩 2 张(assessment 第一句就写出来了),明确知道自己有 10/J/Q 都能压过单 9,还是选了不出。

接下来发生了什么?我把 rev 303 前后 ±6 条拉出来:

rev=301 seat=0  → 9           '先出单9保留A控制,试探下家并留出口'
rev=303 seat=1  → (不出)      '地主剩2张...不出让队友处理9单'  ⚠️
rev=305 seat=2  → K           '压地主单9取权,留三张K可后续收尾走牌'
rev=307 seat=0  → A           '压单K夺权,留单3下一轮再出,争地主胜'
rev=309 seat=1  → (不出)      '仅能强制过牌,待队友接单A再争剩余出口'

队友(seat 2)果然接上了 K 压住单 9——但地主马上用 A 把 K 压回去。局面变成地主剩 1 张且拿牌权。这局农民输了。

rev 303 不是唯一变量,但它是一个可以避免的让权。如果 rev 303 的 10/J/Q 任意一张压上去,地主的 A 要么必须压(消耗一张)要么过(让农民自由领出)。两种后续都比”让地主继续控权”好。

分模型的「地主残局让权」倾向

把 “farmer, 地主余≤5张, current 是单张, 本人有合法单张能压, 却选不出” 作为一个可自动检测的危险信号,看哪些模型容易触发:

模型符合危险场面其中选不出触发率
tencent/Hy4-preview9333%
deepseek-ai/DeepSeek-V4.1-Flash(SiliconFlow)1119%
deepseek/deepseek-v4.1-flash(OpenRouter)600%
z-ai/glm-4.5300%
Qwen/Qwen3.5-122B-A10B200%

Hy4-preview 在这个窄场景下 3/9 触发。6 场样本不大,但分化很明显——其它模型都是 0%,它一枝独秀。这就是本篇的第一个新门禁候选:

# 新门禁指标候选:farmer_endgame_pass_to_landlord
# 触发条件:
#   phase == 'playing' AND
#   actor_role == 'farmer' AND
#   current_leader == landlord AND
#   landlord_remaining <= 5 AND
#   len(current) == 1 AND
#   有合法单张能压过 current AND
#   model 选了 index=0 (pass)
# 门禁阈值建议:触发率 ≤ 5%,超过的模型暂缓开放

这个指标为什么强:它不依赖人工打分,不依赖 LLM-as-a-Judge;全部可从 records 字段用 20 行 Python 自动算。你不需要一个”精彩评审员”坐在那里打分,门禁可以自动跑。


另外 3 个候选

候选 2:assessment / action 事实一致性

从前一篇讲的 output_contract 之上再加一层:assessment 里出现的点数名要和 after-hand 一致。

最小实现:对每条 record,正则抽取 assessment 里所有点数提及(3/4/…/K/A/2/小王/大王、“对/三/炸弹”等),和模型实际选的候选打完之后的 after_hand 对照。例如 assessment 说”保留对 K”但 after-hand 只剩一张 K——不一致,记一次 assessment_fact_mismatch。

为什么硬:assessment 是模型的私有推理摘要,它和 action 的 after-state 不一致意味着模型在自己骗自己——这正是前一篇 strategy-incidents.json 里反复出现的问题类型。可自动化。

阈值建议:触发率 ≤ 10%。

候选 3:延迟预算分模型配

目前所有模型共享”每桌 8 席并发”的调度上限。但 GLM-4.5 的 p50 已经 6.3 s、GLM-5.3-prime 的 max 55 s——同桌一旦摊上两席慢模型,观众会直观感到”卡”。

最小实现:按模型 p95 延迟分档,自动降低其在同桌的并发额度。例如 p95 > 8 s 的模型限制为同一赛事最多 1 席(而不是 3 席均可)。

为什么硬:这不是出牌质量门禁,是可用性门禁。观众 session 的流畅度直接受影响。

候选 4:token 用量跨网关对账

同一个 DeepSeek Flash 模型,不同网关 p50 token 差了 3-5 倍(1766 vs 5922)。这不是模型本身的差异,是 harness/路由侧的模板/系统提示注入导致。

最小实现:按 (model, gateway) 组合算 p50 token,对比预期基线(直连通常最小)。偏差 > 1.5× 的要触发一次”路由审查”——这不是封禁,是提示有东西在悄悄膨胀 context。

为什么硬:全场 60 席 9000 次调用上限 × 多出来的 token,是真金白银的额外成本。1.5× 对账是最温和的告警。


挖出来的建议,一句话打包

  • 立即落地的新门禁:farmer_endgame_pass_to_landlord,20 行 Python 可实现,阈值 ≤ 5%。目前已识别 Hy4-preview 在此指标上异常(3/9 = 33%)。
  • next-tier 门禁:assessment 事实一致性正则比对,阈值 ≤ 10%。
  • 可用性门禁:按模型 p95 延迟分档限并发;GLM-4.5 / GLM-5.3-prime 当前应降档。
  • 成本观测:按 (model, gateway) 对账 token p50,偏差 > 1.5× 触发路由审查。

每一条都来自 1126 条真实决策记录,不是设想。每一条都可以在不改模型、不加人工评审的前提下跑起来——这正是上一篇讲的「用 harness/门禁撬动弱模型玩法」思路的直接延续。


通俗总结

过程数据不是”存着备查”的日志——它是可挖掘的失手检测矿。

把 1126 条决策记录当成一个表格来读,一列是模型想干啥(action)、一列是模型自己写的解释(assessment)、一列是局面事实(observation)、一列是花了多久多少 token。这几列横着对照一下,就能找出所有「模型自己承认不该这么干但还是这么干了」的 case。

今天挖到的最硬的那一条,是地主剩 2 张时农民让单 9。模型 assessment 里写得清清楚楚”地主剩2张”,手里 10/J/Q 都能压,还是选了不出。这不是看不见,不是算不准——是知道了但没对接到动作上。前一篇 harness 手段 3 的 decision_anchor 讲身份/牌权幻觉,这类是另一种更深的——事实对了、动作错了。

一句能复述给同事的话:不要相信「模型跑完了没报错」等于「打得合理」。把每次决策的 observation / choice / assessment 落盘,20 行 Python 就能当场挑出一堆靠眼睛看不出的硬错。


诚实的边界

  • 6 场扫描是本篇所有核心数字的样本(1126 条决策、925 条 playing-phase)。延迟/token 表扩大到 40 场(约 5000+ 条决策)。不是全史 189 场。
  • 「立即获胜命中率 100%」只在这 6 场成立。前一篇讲的 8 条 missed-win 来自更早的 multimodel-v3 批次,它们不在本次扫描内,所以不能说”问题已经消失”。
  • 「Hy4-preview 3/9 触发 farmer_endgame_pass_to_landlord」的分母 9 仍然很小。单独得出”这个模型比其它差”的结论不够;但作为需要在全史 189 场重跑一遍的强候选信号,已经足够。
  • assessment 事实一致性正则比对我没有实际跑一次全扫描,只给出设计。实际实现时正则会不会误报(例如 assessment 里”地主还剩 2 张”的”2”被当成牌点”2”)需要迭代。
  • rev 303 的下游验证只覆盖了前后 ±6 条记录范围——我没证明”如果 rev 303 改出 10/J/Q,这局农民必胜”,只证明了”按模型的 pass 走下去,地主拿到 A 控制权并最终收尾”。局面胜负是多因素,rev 303 是可以避免的让权,不是唯一致败因。
  • 本文的”门禁候选”全部还只是候选。实际加入门禁要(a)在全史 189 场跑验证,(b)通过 CONTRACT.json 式的 freeze/review 流程,(c)回链到 quality-batch-v*/verdict.json——这篇只做”挖出来给大家看”这一步。

参考来源

本项目源码 / 数据

  • racing/private/landlord-events/cards-*.json(189 场原始事件)
  • racing/private/landlord-events/cards-0c98087727a8.json rev 303——本文详述的「地主剩 2 张让单 9」案例
  • racing/landlord_grounding.py:38-48——availability.immediate_team_win_indices 字段,支撑本次 100% 命中率
  • racing/landlord_output_contract.py——现有合约层

站内相关