上一篇《当斗地主玩家是弱模型》讲了 harness 和门禁两个概念,评论里被追问:“具体是怎么做的?能一个一个讲吗?“行。这一篇只讲手段,不绕回概念。7 个真实在仓库里跑着的手段,每一个配:代码位置 + 它对准的那一类失手(日志里有记录)+ 堵住后还剩什么。附一条 2026-10-19 刚出的新实验数据,直接否掉我昨天在上一篇里推荐的那条「升级 neural_reference 为必须解释偏离」——证据链里就是这样的,提出的方案通不过自己写的测试很正常,诚实报出来才有信息量。
读这篇前的 3 件事
- 斗地主是 3 人不完全信息牌类游戏;1 个地主 vs 2 个农民,先出完手牌的阵营赢。本项目用的是国产 Flash 档 LLM(Qwen 3.7 Flash、DeepSeek V4 Flash、GLM 4.5/4.7 等)当玩家,不训模型。
- “harness”在本项目里指的是包着 LLM 的那层 Python 代码,决定它看见什么、必须按什么格式返回、什么情况下不请求它。上一篇有完整定义。
- 弱模型最大的毛病不是算不深,是一阶事实幻觉——比如写摘要说”保留 Q 控场”但手里只有一张 Q;或者说”把牌权交给队友”,但实际是自己继续领出。要堵的就是这类错。
本文每一节的结构固定:它堵什么(真实日志里的那类错)→ 代码在哪(文件 + 行号 + 函数签名)→ 它漏掉什么。
手段 1:forced_pass——唯一合法动作时直接不请求模型
它堵什么:有些时刻场上压着大王、你手里又没有大王没有炸弹——合法动作只有一个:「不出」。这种位置发请求给模型纯粹浪费 token,而且模型大概率会在 private assessment 里瞎编一句”我在保留节奏观察对手”——这是无中生有的解释型幻觉。
代码在哪:racing/landlord_forced_pass.py:20-23,47 行全文,核心就是 eligible() 这 4 行:
# landlord_forced_pass.py:20-23
def eligible(phase, hand, current, choices):
return (phase == 'playing' and bool(hand) and bool(current)
and len(choices) == 1 and choices[0].get('index') == 0
and choices[0].get('cards') == [] and legal_moves(hand, current) == [[]])
人话:打牌阶段、手里有牌、桌上有当前牌(不是自由领出)、合法动作只剩一条、那条是「不出」——全满足就直接走规则,不发请求。记录 record_type='rule_forced_pass',赛后能一字不差复盘。
它漏掉什么:这段代码的覆盖面是「只有一个合法动作」。有一类更隐蔽的错它漏掉——「有多个合法动作、其中一条是立刻赢、模型选了不出」。日志里有 8 条,我在上一篇展开讲过。
手段 2:grounding——把每个候选动作的”打完之后手里剩什么”算好塞给它
它堵什么:日志里反复出现这类错——模型选了「出三张 4 带 7」,但私有摘要写「我保留一对 44,等队友收尾」。摘要和动作对不上。为什么?因为 LLM 从 hand 里扣掉 cards 这个减法——它每一步 inference 都要重新做一次,经常算错,尤其手牌一多。
代码在哪:racing/landlord_grounding.py:38-44,50 行全文。核心是提前算好每个候选的 outcomes:
# landlord_grounding.py:38-44
for c in choices:
cards = c['cards']; removed = set(cards)
# ...
after = [x for x in o['hand'] if x['id'] not in removed]
by_rank = Counter(x['label'] for x in after)
wins = bool(cards) and not after
if wins: finish.append(c['index'])
outcomes.append({'index': c['index'], 'remaining_count': len(after),
'remaining_hand': ' '.join(x['label'] for x in after),
'remaining_rank_counts': dict(by_rank),
'remaining_triples': [r for r,n in by_rank.items() if n==3],
'remaining_bombs': [r for r,n in by_rank.items() if n==4],
'remaining_rocket': by_rank['小王']==1 and by_rank['大王']==1,
'wins_team_now': wins})
一张预制清单:每个候选打完之后——
remaining_count:手里剩几张remaining_hand:剩哪些牌(字符串直接拼好,不用 LLM 自己拼)remaining_triples / remaining_bombs / remaining_rocket:剩的三张/炸弹/火箭直接列出来wins_team_now:这步直接赢阵营吗(布尔)
还有一张 availability 清单,landlord_grounding.py:45-48,直接告诉模型哪些 index 是「不出」、哪些是「同形跟牌」、哪些是「炸弹/王炸压制」、哪些是「立即获胜」:
facts['availability'] = {
'phase': 'playing',
'pass_indices': can_pass,
'nonpass_indices': nonpass,
'same_shape_follow_indices': follow,
'trump_indices': trumps,
'forced_pass': bool(can_pass) and not nonpass,
'voluntary_pass_possible': bool(can_pass and nonpass),
'immediate_team_win_indices': finish, # ★ 立即获胜的候选 index 直接列好
}
immediate_team_win_indices 这个字段的存在,就是对上一篇那 8 条「选了不出但有一步赢」的直接回应——不让模型自己从 after_hand == '' 判断”我这步打完了”,而是提前计算好、列成数组、作为输入显式呈现。模型如果还选不出,那是它的选择问题,不是它没看到。
它漏掉什么:grounding 只做事实呈现,不替模型选。所以 immediate_team_win_indices = [1, 3] 清清楚楚列着,模型如果 index 选 0(「不出」)——grounding 不会纠偏。要纠偏得靠下面的手段 7(门禁扣分)。
手段 3:decision_anchor——给角色/队友/牌权钉一张事实卡
它堵什么:模型反复搞错两件事:(a)「我盖了队友的牌之后,牌权在谁手上」,(b)「我是地主还是农民,谁是我的队友」。斗地主的规则是:两家连续过牌,才回到最后出牌者;不是「我不出就把权交给下一席」。但 Flash 档模型十次里有三次把这条规则没正确调用进来。
代码在哪:racing/landlord_decision_anchor.py,28 行全文(上一篇已经贴过)。关键在于不仅给结构化字段,还给一句中文说明:
# landlord_decision_anchor.py (节选中文说明字段)
'role_cn': '我是地主,另外两席都是对手,我没有队友。' if actor==ll
else f'我是农民,地主是{ll}席,唯一队友是{ally}席。',
'turn_cn': '本步打出牌后,如果两家过牌,下一轮由本席领出;'
'本步过牌不会自动把牌权交给下一席。'
'任一家出完时本局立即结束。',
'retained_control_cn': '只有所选原候选after_hand仍出现的牌才是本人留手;'
'用掉大小王就不能再称保留,出完一对就不能再称该对留手。',
每一句都是对准真实日志里出现过的那条幻觉写的。retained_control_cn 是对准「出完一对 7 还说留着一对 7 收尾」这类错;turn_cn 是对准「我不出就把权交给队友」。
它漏掉什么:anchor 是提示级的——模型 attention 没扫到的时候照样会错。但相比完全不说,当文本在 packet 里出现时,复盘里能看到大约三分之二的 attention 相关 case 命中。精确的数字我没独立复算,这里是定性印象,不作结论。
手段 4:endgame 残局事实——对手剩 2 张时的”整手出完”威胁
它堵什么:日志里有一条典型错——模型把”对手剩 2 张”等价于”对手要出单张”。但 2 张可能是一个对子(走掉就赢),可能是小王+大王(整手王炸就赢)。模型只防报单,不防整手。
代码在哪:racing/landlord_endgame.py:11-13 是激活条件,racing/landlord_endgame.py:17-26 是递给模型的事实列表:
# landlord_endgame.py (核心)
small = observation['phase'] == 'playing' and (
len(own) <= 8 or any(counts[s] <= 2 for s in opponents))
result = {
'version': 'endgame-check-v1', 'active': small,
'scope': '仅本人牌、公开已出牌、座次与余牌数;未知牌可能属于队友,'
'不能定位到某家。这里只核对事实,不推荐动作或保证胜率。',
'checks': [
'本次拿到牌权不代表尾牌也能连续领出;核对下一手和再下一手的真实出口。',
'对手余2张可能以对子或王炸整手出完,不只防报单。', # ★
'盖队友后若两家不出,由本人领出;'
'只有卸牌、救急、确定出口等收益才值得消耗阵营控制张。',
'地主无队友;公开挑衅可以虚构,私有摘要不可把猜测写成事实。',
],
'actions': [],
}
打★的那条就是对准日志里”只防报单”类错误的。全部语言是事实,不是”你应该怎么做”——这个区分很重要,harness 不替模型选,只呈现信息。
手段 5:公开可证的 unbeatable 收尾证书
它堵什么:模型拿到一手残牌(比如王炸 + 剩两张同形)明明可以一口气打完,但它选了”保留王炸、先出小牌试探”。这种可以公开证明的直接胜利被放弃,是 Flash 档最高频的毛病之一。
代码在哪:racing/landlord_control_exits.py:26-32。51 行全文,核心是对不同的牌型分别判定”外部不可能有更大牌”:
# landlord_control_exits.py (简化示意)
kind = pattern(move)[0]
unbeatable = False
if kind == 'rocket':
unbeatable = True # 王炸压一切
elif kind == 'bomb':
unbeatable = not rocket_possible and not any(beats(q, move) for q in quads)
elif kind == 'single':
unbeatable = not quads and not rocket_possible \
and not any(beats([c], move) for c in pool)
if unbeatable and pattern(remaining):
return {
'status': 'sufficient_certificate',
'certificate': 'unbeatable_then_whole_remaining',
'continuation': 'Both other seats have no legal follow. '
'On the next free lead, playing the remaining legal '
'whole hand ends for this team.',
}
人话:只用公开信息(我自己手里 + 所有已出牌 + 两家合计还有多少张)就能证明”这步没人能压、下一步整手打完就赢”的话,harness 吐一张 unbeatable_then_whole_remaining 证书给模型。模型自己选不选是另一回事,但事实它看见了。
注意看 pool 的定义(上游代码):
pool = set(range(54)) - own - played # 所有未知牌(两家手里的和不定地)
这里有一个保守近似:pool 把两家加起来当作”所有可能出现的牌”,这是上限。所以 unbeatable 这个判定如果为 True,是严格 True(公开必证),不是概率估计。
它漏掉什么:这段只覆盖”自己马上就能证的收尾”。涉及队友配合的收尾(我盖一下、队友跟上)要另外的证书,见手段 6。
手段 6:pair-reply tail risk——组合枚举证明”农民 pair 回应会被反杀”
它堵什么:农民残局常见陷阱:地主剩 3 张、我(农民)出对子想压它,但如果那 3 张恰好是「2+小王+大王」,我这个对子被整手王炸炸掉之后,剩下的 1 张地主自由领出就赢了。模型几乎必然看不见这种细节。
代码在哪:racing/landlord_pair_tail_risk.py,35 行全文。它做了一件 LLM 不擅长的事——在”公开上限”下的所有可能分配上做组合枚举:
# landlord_pair_tail_risk.py (核心循环)
pool = set(range(54)) - set(seen) # 两家合计未知牌,必须 <= 8
# ...
after = [c for c in hand if c not in cards] # 出掉当前 pair 之后剩的
worlds = 0; witnesses = 0
for enemy_tuple in combinations(sorted(pool), 3):
enemy = set(enemy_tuple)
if not forced <= enemy: continue
friend = sorted(pool - enemy)
assert len(friend) == counts[ally]
worlds += 1
for reply in legal_moves(list(enemy_tuple), cards):
if len(reply) != 2: continue
# 反杀条件:队友没法接、本席也没法接、enemy 还剩 1 张自由领出赢
if (legal_moves(friend, reply) == [[]]
and legal_moves(after, reply) == [[]]):
witnesses += 1
reply_patterns.add(
tuple(card_info(c)['label'] for c in reply))
break
人话:枚举所有公开可能的手牌分配(因为 pool ≤ 8,组合空间小到枚举得起),对每一种分配,验证”地主 pair 反杀 → 两农民都接不住 → 地主剩 1 张自由领出赢”是不是真的能发生。只报公开上限下有多少见证,不说概率——因为这不是概率,是存在性证明(有一种公开相容的世界会发生)。
LLM 不会做这个事。它可以从训练分布里学到”小心对手反杀”,但没法当场证明”在这个 pool=6 的世界里有 4 种分配能反杀”。
它漏掉什么:如果 pool > 8,直接返回 unknown_scope,不猜。这是诚实的无知:枚举算不动就说算不动,不胡乱估计。
手段 7:输出合约 + action_key 双字段互相印证
它堵什么:模型想选”三带一打 7”,但返回 index: 0(index 0 永远是「不出」)。或者 action_key: "三带一" 但 index: 0。两种情况都是语法合法但语义错误。
代码在哪:racing/landlord_output_contract.py:10-35,122 行全文。核心约束:
- 返回必须是严格 JSON(走 json_schema,
additionalProperties: false) index必须在合法 index 枚举集合里(JSON schema 的 enum)action_key必须和index指向同一个候选(harness 侧断言)- 不一致——直接停止,不替它纠偏,不用规则选个”更合理”的动作糊弄过去
# landlord_output_contract.py (关键 schema 节选)
'index': {'type': 'integer', 'enum': indices},
'role': {'type': 'string', 'enum': ['landlord', 'farmer', 'bidding']},
# ...
'additionalProperties': False
然后 harness 在收到响应后做双字段一致性校验,不一致就记为失败。这个 “绝不替模型选” 的决定看着严格,但带来一个关键性质——赛后能分毫不差地复盘模型到底打成什么样。门禁才有东西可对。
JSON schema 这件事在学术上有旁证:JSONSchemaBench (arXiv:2501.10868) 评了六种约束解码框架,核心发现是即便加约束解码,当前 LLM 在真实 schema 上的合规率、覆盖率仍有 gap(具体数字我未独立复算)。所以单靠 schema 约束保 JSON 合法性是不够的——本项目的 output_contract 用的是语义层的双字段互证(index 和 action_key),这是和”约束解码保语法”互补的另一层。
它漏掉什么:schema 保证 index 合法、action_key 一致,但保不住 speech 和 assessment 的事实准确性。模型完全可以写一句对的 index + 一段胡扯的 assessment。这就引出下面的新发现——
新发现(2026-10-19):昨天提的「必须解释偏离」被实验数据否了
上一篇我给了 5 条杠杆,第 1 条是”把 neural_reference 从只读参考升级为必须解释偏离”——意思是如果模型没选 DouZero top-1,就强制它在 assessment 里写出偏离理由。写不出就扣分。
这个方案听起来很合理。但 2026-10-19 的 adherence 数据直接否了它。
output/landlord/article-harness-gate-20261018/reference-deviation-review.json 里有一组数据,统计了项目当前的 reference adherence:
| 阶段 | 已承诺的决策 | 有 top 参考的决策 | 选中 top-1 | 选中 top-3 |
|---|---|---|---|---|
| native36 完整 26 局 | 716 | 666 | 380 (57%) | 547 (82%) |
| native37 试点 3 局 | 75 | 69 | 45 (65%) | 62 (90%) |
更要命的是已知客观错误的 8 条 private 幻觉(比如上面手段 3 讲的那类”把牌权交错”),其中 7 条已经选中 DouZero top-1,7 条选中 top-3:
"known_false_private_already_top1": 7,
"known_false_private_already_top3": 7
这意味着——
假设(我昨天的提议):模型选了 DouZero top-1 的时候,私有摘要会更靠谱,因为参考答案已经对了。
观察:7/8 已知的客观摘要错误发生时,模型正好选的就是 DouZero top-1。
结论:“必须解释偏离”方案抓不住这类错。因为错不是发生在偏离时,是发生在跟随时——模型选了对的动作,但对动作的解释胡编。
这条我昨天的时候真没想到。方案看起来内部自洽,但对准的根本不是真实分布里的失手模式。CONTRACT.json 原文(本项目的 output/landlord/structured-intent-spike-v1/CONTRACT.json)直接写明:
“7/8 known false-private cases already chose neural top1, so reference-deviation prose is insufficient.”
实验数据证明了什么、没证明什么
上一篇写完的当天晚上,项目跑了两个 structured-intent-spike 实验,直接测试”把摘要从自由文本升格为结构化 motive codes + 条件计划”是不是能堵住这类错。
两版设计的实际结果:
| 变体 | 实际请求 | 一次就合规 | ≤1 次重试后合规 | p50 延迟 | 决定 |
|---|---|---|---|---|---|
| heavy_typed_intent_v1 | 26 | 6/16 | 12/16 | 3.87 s | ❌ reject |
| sparse_typed_intent_v2 | 19 | 13/16 | 16/16 | 2.76 s | ❌ not admitted(阈值 14/16) |
两版都没过门禁(阈值要求首次合规 ≥14/16)。v2 已经非常接近——13/16 首次合规,一次重试后 16/16 全部通过——但仍然被拒绝。这就是前一篇讲的”规则合法性门禁 100%、不打折”在实操中的样子:接近不算通过。
更诚实的是实验报告里这条备注:
“All 3 repairs retained the same actual action; no demonstrated improvement in card-choice strength from those repairs.”
人话:那 3 次合规修复,修改后选的动作和原来一样。也就是说,让模型重新写一遍 structured intent,它还是选同样的牌——结构化 motive 这个约束只能让解释更一致,不能让打法更强。
这是一条很重要的负证据:加格式约束 ≠ 提升出牌质量。要承认它。
一句话定位 7 个手段
| 手段 | 对准的真错 | 核心机制 | 行数 |
|---|---|---|---|
| 1. forced_pass | 只有一个合法动作时模型瞎编解释 | 规则直接执行、不请求模型 | 47 |
| 2. grounding outcomes | 摘要和动作对不上(减法算错) | 预算每个候选的 after-state 清单 | 50 |
| 3. decision_anchor | 身份/牌权/留手幻觉 | 结构化字段 + 一句中文说明 | 28 |
| 4. endgame facts | 对手剩 2 张只防报单 | 公开信息的事实 checklist | 60 |
| 5. control_exits 证书 | 可直接收尾却留牌试探 | 公开可证的 unbeatable 判定 | 51 |
| 6. pair_tail_risk | 农民 pair 被整手王炸反杀看不见 | pool≤8 时组合枚举 | 35 |
| 7. output_contract | index/action_key 不一致、JSON 不合规 | 双字段互证 + 不合规直接停 | 122 |
合计 393 行 Python。没有一个超过 150 行,每一个都对准一类具体可观察的失手。这是 harness 该有的样子——不是通用框架,是针对这个模型 × 这个任务的失手面积长出来的具体堵漏。
通俗总结
把 harness 想象成残疾人辅具,不是教练。
辅具不教你怎么打球,是给不便的那部分配一个外接的物理装置。弱模型打斗地主时它”不便”的地方不是深度策略算得不够远,是最基本的事实记不住、看不见:
- 它记不住自己手里还剩什么——所以 手段 2 把 after-state 清单预先列好塞给它;
- 它分不清牌权流向——所以 手段 3 把”两家过才回到你”写成中文贴到眼前;
- 它看不见对手 2 张可能是一个对子直接走完——所以 手段 4 把这条写在 checklist 里;
- 它判断不了”这手打完没人接得住”——所以 手段 5 替它做严格判定;
- 它更不可能枚举 pool=6 时的所有分配找反杀——所以 手段 6 直接做组合枚举。
手段 1 是最朴素的:有一个明显的动作时根本不让它选,省它一次胡编。手段 7 是最严格的:它可以胡编解释,但 index 和 action_key 对不上直接停,不许用”规则帮它纠偏”把实际发挥美化掉。
一句能复述给同事的话:让弱模型打斗地主的办法,不是给它更好的 prompt,是给它配一张预先算好的事实卡 + 一个绝不替它作弊的记分员。
诚实的边界
- 本文”真失手”的描述来自
output/landlord/multimodel-v3/missed-immediate-wins.json(8 条立即赢但选不出)、output/landlord/strategy-incidents.json(13 条标注过的典型错)和output/landlord/quality-batch-v1/verdict.json(27 局精彩率 25.9%)。每一类我都给了对应的 harness 手段,但不代表部署了这些手段就把精彩率推到了 80%——quality-batch-v1 已经包含了手段 1-7 的大部分,仍然 7/27。 - “7/8 已知客观错误选中 DouZero top-1” 来自
reference-deviation-review.json(2026-10-19),样本极小。8 条 known false-private cases 是从 93 局 real-game 里人工挑的典型,不是全集。可能存在偏采样。 - 手段 6 的组合枚举只在 pool ≤ 8 时激活,覆盖面远小于全局。
- “必须解释偏离”方案被否的结论基于
structured-intent-spike-v1 / v2的 16 个 fixture(12 个 distinct position);fixture 来自历史赛事的高价值失手回放,不是新开 60 席真实赛。这不是”该方案在所有真实场景都失败”,是”在当前已知失手面上,它抓不到主要错误模式”。
参考来源
本项目源码(可直接读)
racing/landlord_forced_pass.py:20-23——eligible()判定(手段 1)racing/landlord_grounding.py:38-48——outcomes列表 +availability.immediate_team_win_indices(手段 2)racing/landlord_decision_anchor.py——28 行全文(手段 3)racing/landlord_endgame.py:11-26——残局激活和 checks 列表(手段 4)racing/landlord_control_exits.py:26-32——unbeatable_then_whole_remaining证书判定(手段 5)racing/landlord_pair_tail_risk.py:25-33——pool≤8 时的组合枚举(手段 6)racing/landlord_output_contract.py:10-35——JSON schema + 双字段约束(手段 7)
实验证据(2026-10-19 新鲜数据)
output/landlord/article-harness-gate-20261018/reference-deviation-review.json——DouZero adherence 统计 + 8 条已知 false-privateoutput/landlord/article-harness-gate-20261018/continuation-result.json——两版 structured intent 实验的决定output/landlord/structured-intent-spike-v1/independent-verdict.json、structured-intent-spike-v2/independent-verdict.json——两版 spike 的详细指标
arXiv 论文
- JSONSchemaBench (arXiv:2501.10868)——约束解码在真实 schema 上仍有 gap,佐证本项目用双字段互证而非仅靠 schema 约束
- DouZero (arXiv:2106.06135)——neural_reference 用的开源模型
站内相关
- 《当斗地主玩家是弱模型:harness 和门禁各能把 25.9% 推到哪》——本文的概念前作,解释 harness 和门禁各是什么、为什么把门禁拆成两档
- 《什么才是好的 Harness:判断归模型,物理归代码》——harness 一词的书桌版定义