弱模型斗地主的 7 个具体手段:每一个都对准一类肉眼可见的失手

上篇讲 harness 和门禁的概念被追问具体做法。这篇讲 7 个真在仓库里跑的手段:forced_pass 的 4 行判定、grounding 的 outcomes 清单、残局 pool≤8 组合枚举……每个附代码行号+真实失手+附带新发现:昨天提的「必须解释偏离」被当天的 adherence 数据直接否了。

上一篇《当斗地主玩家是弱模型》讲了 harness 和门禁两个概念,评论里被追问:“具体是怎么做的?能一个一个讲吗?“行。这一篇只讲手段,不绕回概念。7 个真实在仓库里跑着的手段,每一个配:代码位置 + 它对准的那一类失手(日志里有记录)+ 堵住后还剩什么。附一条 2026-10-19 刚出的新实验数据,直接否掉我昨天在上一篇里推荐的那条「升级 neural_reference 为必须解释偏离」——证据链里就是这样的,提出的方案通不过自己写的测试很正常,诚实报出来才有信息量。


读这篇前的 3 件事

  1. 斗地主是 3 人不完全信息牌类游戏;1 个地主 vs 2 个农民,先出完手牌的阵营赢。本项目用的是国产 Flash 档 LLM(Qwen 3.7 Flash、DeepSeek V4 Flash、GLM 4.5/4.7 等)当玩家,不训模型。
  2. “harness”在本项目里指的是包着 LLM 的那层 Python 代码,决定它看见什么、必须按什么格式返回、什么情况下不请求它。上一篇有完整定义。
  3. 弱模型最大的毛病不是算不深,是一阶事实幻觉——比如写摘要说”保留 Q 控场”但手里只有一张 Q;或者说”把牌权交给队友”,但实际是自己继续领出。要堵的就是这类错。

本文每一节的结构固定:它堵什么(真实日志里的那类错)→ 代码在哪(文件 + 行号 + 函数签名)→ 它漏掉什么。


手段 1:forced_pass——唯一合法动作时直接不请求模型

它堵什么:有些时刻场上压着大王、你手里又没有大王没有炸弹——合法动作只有一个:「不出」。这种位置发请求给模型纯粹浪费 token,而且模型大概率会在 private assessment 里瞎编一句”我在保留节奏观察对手”——这是无中生有的解释型幻觉。

代码在哪:racing/landlord_forced_pass.py:20-23,47 行全文,核心就是 eligible() 这 4 行:

# landlord_forced_pass.py:20-23
def eligible(phase, hand, current, choices):
    return (phase == 'playing' and bool(hand) and bool(current)
        and len(choices) == 1 and choices[0].get('index') == 0
        and choices[0].get('cards') == [] and legal_moves(hand, current) == [[]])

人话:打牌阶段、手里有牌、桌上有当前牌(不是自由领出)、合法动作只剩一条、那条是「不出」——全满足就直接走规则,不发请求。记录 record_type='rule_forced_pass',赛后能一字不差复盘。

它漏掉什么:这段代码的覆盖面是「只有一个合法动作」。有一类更隐蔽的错它漏掉——「有多个合法动作、其中一条是立刻赢、模型选了不出」。日志里有 8 条,我在上一篇展开讲过。


手段 2:grounding——把每个候选动作的”打完之后手里剩什么”算好塞给它

它堵什么:日志里反复出现这类错——模型选了「出三张 4 带 7」,但私有摘要写「我保留一对 44,等队友收尾」。摘要和动作对不上。为什么?因为 LLM 从 hand 里扣掉 cards 这个减法——它每一步 inference 都要重新做一次,经常算错,尤其手牌一多。

代码在哪:racing/landlord_grounding.py:38-44,50 行全文。核心是提前算好每个候选的 outcomes:

# landlord_grounding.py:38-44
for c in choices:
    cards = c['cards']; removed = set(cards)
    # ...
    after = [x for x in o['hand'] if x['id'] not in removed]
    by_rank = Counter(x['label'] for x in after)
    wins = bool(cards) and not after
    if wins: finish.append(c['index'])
    outcomes.append({'index': c['index'], 'remaining_count': len(after),
                     'remaining_hand': ' '.join(x['label'] for x in after),
                     'remaining_rank_counts': dict(by_rank),
                     'remaining_triples': [r for r,n in by_rank.items() if n==3],
                     'remaining_bombs': [r for r,n in by_rank.items() if n==4],
                     'remaining_rocket': by_rank['小王']==1 and by_rank['大王']==1,
                     'wins_team_now': wins})

一张预制清单:每个候选打完之后——

  • remaining_count:手里剩几张
  • remaining_hand:剩哪些牌(字符串直接拼好,不用 LLM 自己拼)
  • remaining_triples / remaining_bombs / remaining_rocket:剩的三张/炸弹/火箭直接列出来
  • wins_team_now:这步直接赢阵营吗(布尔)

还有一张 availability 清单,landlord_grounding.py:45-48,直接告诉模型哪些 index 是「不出」、哪些是「同形跟牌」、哪些是「炸弹/王炸压制」、哪些是「立即获胜」:

facts['availability'] = {
    'phase': 'playing',
    'pass_indices': can_pass,
    'nonpass_indices': nonpass,
    'same_shape_follow_indices': follow,
    'trump_indices': trumps,
    'forced_pass': bool(can_pass) and not nonpass,
    'voluntary_pass_possible': bool(can_pass and nonpass),
    'immediate_team_win_indices': finish,  # ★ 立即获胜的候选 index 直接列好
}

immediate_team_win_indices 这个字段的存在,就是对上一篇那 8 条「选了不出但有一步赢」的直接回应——不让模型自己从 after_hand == '' 判断”我这步打完了”,而是提前计算好、列成数组、作为输入显式呈现。模型如果还选不出,那是它的选择问题,不是它没看到。

它漏掉什么:grounding 只做事实呈现,不替模型选。所以 immediate_team_win_indices = [1, 3] 清清楚楚列着,模型如果 index 选 0(「不出」)——grounding 不会纠偏。要纠偏得靠下面的手段 7(门禁扣分)。


手段 3:decision_anchor——给角色/队友/牌权钉一张事实卡

它堵什么:模型反复搞错两件事:(a)「我盖了队友的牌之后,牌权在谁手上」,(b)「我是地主还是农民,谁是我的队友」。斗地主的规则是:两家连续过牌,才回到最后出牌者;不是「我不出就把权交给下一席」。但 Flash 档模型十次里有三次把这条规则没正确调用进来。

代码在哪:racing/landlord_decision_anchor.py,28 行全文(上一篇已经贴过)。关键在于不仅给结构化字段,还给一句中文说明:

# landlord_decision_anchor.py (节选中文说明字段)
'role_cn': '我是地主,另外两席都是对手,我没有队友。' if actor==ll
           else f'我是农民,地主是{ll}席,唯一队友是{ally}席。',
'turn_cn': '本步打出牌后,如果两家过牌,下一轮由本席领出;'
           '本步过牌不会自动把牌权交给下一席。'
           '任一家出完时本局立即结束。',
'retained_control_cn': '只有所选原候选after_hand仍出现的牌才是本人留手;'
                       '用掉大小王就不能再称保留,出完一对就不能再称该对留手。',

每一句都是对准真实日志里出现过的那条幻觉写的。retained_control_cn 是对准「出完一对 7 还说留着一对 7 收尾」这类错;turn_cn 是对准「我不出就把权交给队友」。

它漏掉什么:anchor 是提示级的——模型 attention 没扫到的时候照样会错。但相比完全不说,当文本在 packet 里出现时,复盘里能看到大约三分之二的 attention 相关 case 命中。精确的数字我没独立复算,这里是定性印象,不作结论。


手段 4:endgame 残局事实——对手剩 2 张时的”整手出完”威胁

它堵什么:日志里有一条典型错——模型把”对手剩 2 张”等价于”对手要出单张”。但 2 张可能是一个对子(走掉就赢),可能是小王+大王(整手王炸就赢)。模型只防报单,不防整手。

代码在哪:racing/landlord_endgame.py:11-13 是激活条件,racing/landlord_endgame.py:17-26 是递给模型的事实列表:

# landlord_endgame.py (核心)
small = observation['phase'] == 'playing' and (
    len(own) <= 8 or any(counts[s] <= 2 for s in opponents))

result = {
    'version': 'endgame-check-v1', 'active': small,
    'scope': '仅本人牌、公开已出牌、座次与余牌数;未知牌可能属于队友,'
             '不能定位到某家。这里只核对事实,不推荐动作或保证胜率。',
    'checks': [
        '本次拿到牌权不代表尾牌也能连续领出;核对下一手和再下一手的真实出口。',
        '对手余2张可能以对子或王炸整手出完,不只防报单。',  # ★
        '盖队友后若两家不出,由本人领出;'
            '只有卸牌、救急、确定出口等收益才值得消耗阵营控制张。',
        '地主无队友;公开挑衅可以虚构,私有摘要不可把猜测写成事实。',
    ],
    'actions': [],
}

打★的那条就是对准日志里”只防报单”类错误的。全部语言是事实,不是”你应该怎么做”——这个区分很重要,harness 不替模型选,只呈现信息。


手段 5:公开可证的 unbeatable 收尾证书

它堵什么:模型拿到一手残牌(比如王炸 + 剩两张同形)明明可以一口气打完,但它选了”保留王炸、先出小牌试探”。这种可以公开证明的直接胜利被放弃,是 Flash 档最高频的毛病之一。

代码在哪:racing/landlord_control_exits.py:26-32。51 行全文,核心是对不同的牌型分别判定”外部不可能有更大牌”:

# landlord_control_exits.py (简化示意)
kind = pattern(move)[0]
unbeatable = False
if kind == 'rocket':
    unbeatable = True  # 王炸压一切
elif kind == 'bomb':
    unbeatable = not rocket_possible and not any(beats(q, move) for q in quads)
elif kind == 'single':
    unbeatable = not quads and not rocket_possible \
                 and not any(beats([c], move) for c in pool)

if unbeatable and pattern(remaining):
    return {
        'status': 'sufficient_certificate',
        'certificate': 'unbeatable_then_whole_remaining',
        'continuation': 'Both other seats have no legal follow. '
                        'On the next free lead, playing the remaining legal '
                        'whole hand ends for this team.',
    }

人话:只用公开信息(我自己手里 + 所有已出牌 + 两家合计还有多少张)就能证明”这步没人能压、下一步整手打完就赢”的话,harness 吐一张 unbeatable_then_whole_remaining 证书给模型。模型自己选不选是另一回事,但事实它看见了。

注意看 pool 的定义(上游代码):

pool = set(range(54)) - own - played  # 所有未知牌(两家手里的和不定地)

这里有一个保守近似:pool 把两家加起来当作”所有可能出现的牌”,这是上限。所以 unbeatable 这个判定如果为 True,是严格 True(公开必证),不是概率估计。

它漏掉什么:这段只覆盖”自己马上就能证的收尾”。涉及队友配合的收尾(我盖一下、队友跟上)要另外的证书,见手段 6。


手段 6:pair-reply tail risk——组合枚举证明”农民 pair 回应会被反杀”

它堵什么:农民残局常见陷阱:地主剩 3 张、我(农民)出对子想压它,但如果那 3 张恰好是「2+小王+大王」,我这个对子被整手王炸炸掉之后,剩下的 1 张地主自由领出就赢了。模型几乎必然看不见这种细节。

代码在哪:racing/landlord_pair_tail_risk.py,35 行全文。它做了一件 LLM 不擅长的事——在”公开上限”下的所有可能分配上做组合枚举:

# landlord_pair_tail_risk.py (核心循环)
pool = set(range(54)) - set(seen)  # 两家合计未知牌,必须 <= 8
# ...
after = [c for c in hand if c not in cards]  # 出掉当前 pair 之后剩的
worlds = 0; witnesses = 0

for enemy_tuple in combinations(sorted(pool), 3):
    enemy = set(enemy_tuple)
    if not forced <= enemy: continue
    friend = sorted(pool - enemy)
    assert len(friend) == counts[ally]
    worlds += 1
    for reply in legal_moves(list(enemy_tuple), cards):
        if len(reply) != 2: continue
        # 反杀条件:队友没法接、本席也没法接、enemy 还剩 1 张自由领出赢
        if (legal_moves(friend, reply) == [[]]
                and legal_moves(after, reply) == [[]]):
            witnesses += 1
            reply_patterns.add(
                tuple(card_info(c)['label'] for c in reply))
            break

人话:枚举所有公开可能的手牌分配(因为 pool ≤ 8,组合空间小到枚举得起),对每一种分配,验证”地主 pair 反杀 → 两农民都接不住 → 地主剩 1 张自由领出赢”是不是真的能发生。只报公开上限下有多少见证,不说概率——因为这不是概率,是存在性证明(有一种公开相容的世界会发生)。

LLM 不会做这个事。它可以从训练分布里学到”小心对手反杀”,但没法当场证明”在这个 pool=6 的世界里有 4 种分配能反杀”。

它漏掉什么:如果 pool > 8,直接返回 unknown_scope,不猜。这是诚实的无知:枚举算不动就说算不动,不胡乱估计。


手段 7:输出合约 + action_key 双字段互相印证

它堵什么:模型想选”三带一打 7”,但返回 index: 0(index 0 永远是「不出」)。或者 action_key: "三带一" 但 index: 0。两种情况都是语法合法但语义错误。

代码在哪:racing/landlord_output_contract.py:10-35,122 行全文。核心约束:

  • 返回必须是严格 JSON(走 json_schema,additionalProperties: false)
  • index 必须在合法 index 枚举集合里(JSON schema 的 enum)
  • action_key 必须和 index 指向同一个候选(harness 侧断言)
  • 不一致——直接停止,不替它纠偏,不用规则选个”更合理”的动作糊弄过去
# landlord_output_contract.py (关键 schema 节选)
'index': {'type': 'integer', 'enum': indices},
'role': {'type': 'string', 'enum': ['landlord', 'farmer', 'bidding']},
# ...
'additionalProperties': False

然后 harness 在收到响应后做双字段一致性校验,不一致就记为失败。这个 “绝不替模型选” 的决定看着严格,但带来一个关键性质——赛后能分毫不差地复盘模型到底打成什么样。门禁才有东西可对。

JSON schema 这件事在学术上有旁证:JSONSchemaBench (arXiv:2501.10868) 评了六种约束解码框架,核心发现是即便加约束解码,当前 LLM 在真实 schema 上的合规率、覆盖率仍有 gap(具体数字我未独立复算)。所以单靠 schema 约束保 JSON 合法性是不够的——本项目的 output_contract 用的是语义层的双字段互证(index 和 action_key),这是和”约束解码保语法”互补的另一层。

它漏掉什么:schema 保证 index 合法、action_key 一致,但保不住 speech 和 assessment 的事实准确性。模型完全可以写一句对的 index + 一段胡扯的 assessment。这就引出下面的新发现——


新发现(2026-10-19):昨天提的「必须解释偏离」被实验数据否了

上一篇我给了 5 条杠杆,第 1 条是”把 neural_reference 从只读参考升级为必须解释偏离”——意思是如果模型没选 DouZero top-1,就强制它在 assessment 里写出偏离理由。写不出就扣分。

这个方案听起来很合理。但 2026-10-19 的 adherence 数据直接否了它。

output/landlord/article-harness-gate-20261018/reference-deviation-review.json 里有一组数据,统计了项目当前的 reference adherence:

阶段已承诺的决策有 top 参考的决策选中 top-1选中 top-3
native36 完整 26 局716666380 (57%)547 (82%)
native37 试点 3 局756945 (65%)62 (90%)

更要命的是已知客观错误的 8 条 private 幻觉(比如上面手段 3 讲的那类”把牌权交错”),其中 7 条已经选中 DouZero top-1,7 条选中 top-3:

"known_false_private_already_top1": 7,
"known_false_private_already_top3": 7

这意味着——

假设(我昨天的提议):模型选了 DouZero top-1 的时候,私有摘要会更靠谱,因为参考答案已经对了。

观察:7/8 已知的客观摘要错误发生时,模型正好选的就是 DouZero top-1。

结论:“必须解释偏离”方案抓不住这类错。因为错不是发生在偏离时,是发生在跟随时——模型选了对的动作,但对动作的解释胡编。

这条我昨天的时候真没想到。方案看起来内部自洽,但对准的根本不是真实分布里的失手模式。CONTRACT.json 原文(本项目的 output/landlord/structured-intent-spike-v1/CONTRACT.json)直接写明:

“7/8 known false-private cases already chose neural top1, so reference-deviation prose is insufficient.”

实验数据证明了什么、没证明什么

上一篇写完的当天晚上,项目跑了两个 structured-intent-spike 实验,直接测试”把摘要从自由文本升格为结构化 motive codes + 条件计划”是不是能堵住这类错。

两版设计的实际结果:

变体实际请求一次就合规≤1 次重试后合规p50 延迟决定
heavy_typed_intent_v1266/1612/163.87 s❌ reject
sparse_typed_intent_v21913/1616/162.76 s❌ not admitted(阈值 14/16)

两版都没过门禁(阈值要求首次合规 ≥14/16)。v2 已经非常接近——13/16 首次合规,一次重试后 16/16 全部通过——但仍然被拒绝。这就是前一篇讲的”规则合法性门禁 100%、不打折”在实操中的样子:接近不算通过。

更诚实的是实验报告里这条备注:

“All 3 repairs retained the same actual action; no demonstrated improvement in card-choice strength from those repairs.”

人话:那 3 次合规修复,修改后选的动作和原来一样。也就是说,让模型重新写一遍 structured intent,它还是选同样的牌——结构化 motive 这个约束只能让解释更一致,不能让打法更强。

这是一条很重要的负证据:加格式约束 ≠ 提升出牌质量。要承认它。


一句话定位 7 个手段

手段对准的真错核心机制行数
1. forced_pass只有一个合法动作时模型瞎编解释规则直接执行、不请求模型47
2. grounding outcomes摘要和动作对不上(减法算错)预算每个候选的 after-state 清单50
3. decision_anchor身份/牌权/留手幻觉结构化字段 + 一句中文说明28
4. endgame facts对手剩 2 张只防报单公开信息的事实 checklist60
5. control_exits 证书可直接收尾却留牌试探公开可证的 unbeatable 判定51
6. pair_tail_risk农民 pair 被整手王炸反杀看不见pool≤8 时组合枚举35
7. output_contractindex/action_key 不一致、JSON 不合规双字段互证 + 不合规直接停122

合计 393 行 Python。没有一个超过 150 行,每一个都对准一类具体可观察的失手。这是 harness 该有的样子——不是通用框架,是针对这个模型 × 这个任务的失手面积长出来的具体堵漏。


通俗总结

把 harness 想象成残疾人辅具,不是教练。

辅具不教你怎么打球,是给不便的那部分配一个外接的物理装置。弱模型打斗地主时它”不便”的地方不是深度策略算得不够远,是最基本的事实记不住、看不见:

  • 它记不住自己手里还剩什么——所以 手段 2 把 after-state 清单预先列好塞给它;
  • 它分不清牌权流向——所以 手段 3 把”两家过才回到你”写成中文贴到眼前;
  • 它看不见对手 2 张可能是一个对子直接走完——所以 手段 4 把这条写在 checklist 里;
  • 它判断不了”这手打完没人接得住”——所以 手段 5 替它做严格判定;
  • 它更不可能枚举 pool=6 时的所有分配找反杀——所以 手段 6 直接做组合枚举。

手段 1 是最朴素的:有一个明显的动作时根本不让它选,省它一次胡编。手段 7 是最严格的:它可以胡编解释,但 index 和 action_key 对不上直接停,不许用”规则帮它纠偏”把实际发挥美化掉。

一句能复述给同事的话:让弱模型打斗地主的办法,不是给它更好的 prompt,是给它配一张预先算好的事实卡 + 一个绝不替它作弊的记分员。


诚实的边界

  • 本文”真失手”的描述来自 output/landlord/multimodel-v3/missed-immediate-wins.json(8 条立即赢但选不出)、output/landlord/strategy-incidents.json(13 条标注过的典型错)和 output/landlord/quality-batch-v1/verdict.json(27 局精彩率 25.9%)。每一类我都给了对应的 harness 手段,但不代表部署了这些手段就把精彩率推到了 80%——quality-batch-v1 已经包含了手段 1-7 的大部分,仍然 7/27。
  • “7/8 已知客观错误选中 DouZero top-1” 来自 reference-deviation-review.json(2026-10-19),样本极小。8 条 known false-private cases 是从 93 局 real-game 里人工挑的典型,不是全集。可能存在偏采样。
  • 手段 6 的组合枚举只在 pool ≤ 8 时激活,覆盖面远小于全局。
  • “必须解释偏离”方案被否的结论基于 structured-intent-spike-v1 / v2 的 16 个 fixture(12 个 distinct position);fixture 来自历史赛事的高价值失手回放,不是新开 60 席真实赛。这不是”该方案在所有真实场景都失败”,是”在当前已知失手面上,它抓不到主要错误模式”。

参考来源

本项目源码(可直接读)

  • racing/landlord_forced_pass.py:20-23——eligible() 判定(手段 1)
  • racing/landlord_grounding.py:38-48——outcomes 列表 + availability.immediate_team_win_indices(手段 2)
  • racing/landlord_decision_anchor.py——28 行全文(手段 3)
  • racing/landlord_endgame.py:11-26——残局激活和 checks 列表(手段 4)
  • racing/landlord_control_exits.py:26-32——unbeatable_then_whole_remaining 证书判定(手段 5)
  • racing/landlord_pair_tail_risk.py:25-33——pool≤8 时的组合枚举(手段 6)
  • racing/landlord_output_contract.py:10-35——JSON schema + 双字段约束(手段 7)

实验证据(2026-10-19 新鲜数据)

  • output/landlord/article-harness-gate-20261018/reference-deviation-review.json——DouZero adherence 统计 + 8 条已知 false-private
  • output/landlord/article-harness-gate-20261018/continuation-result.json——两版 structured intent 实验的决定
  • output/landlord/structured-intent-spike-v1/independent-verdict.json、structured-intent-spike-v2/independent-verdict.json——两版 spike 的详细指标

arXiv 论文

站内相关