三个具体数字先摆出来。27 局冻结回看,精彩率 7/27 = 25.93%,目标是 80%。真实决策 7063 次 跑完一场 60 席淘汰赛(后面会解释这个数字),花了约 1281 万 token,门禁仍然没过。日志里 8 次 模型手里只剩 1 张牌、合法动作里有一条「一次出完立刻赢」,模型选了「不出」——其中一次的私有摘要写着「让地主先出,观察其牌力,保留 Q 控场」,而它手里只有那张 Q。
上一篇写 harness 的时候我用的是 SWE-agent、DeepAgents 这些论文证据,结论是「判断归模型,物理归代码」。那是书桌上的结论。这篇是用一个真实项目——1024 程序员节的斗地主赛,racing/landlord_*.py 这堆文件——把那句话落到可测量的地面上。
这个赛的玩家是国产 Flash 档模型:Qwen 3.7 Flash、DeepSeek V4 Flash、GLM 4.7/4.5、Hunyuan A13B。它们打斗地主的难点不是不会算残局,是会在自己手里还剩什么这种一阶事实上出错。你没法靠调 prompt 消灭这类错——它要自己选动作,就会错。所以必须有一部分决策从「选」变成「物理」。这就是 harness。门禁则是另一回事:决定一场打完的牌值不值得给观众看。
名词速查
| 术语 | 一句话解释 |
|---|---|
| 斗地主 | 54 张牌(含大小王),3 人玩,1 个「地主」vs 2 个「农民」。先出完手牌的一方赢。 |
| Harness | 包裹模型的那个有状态程序:输入投影、规则兜底、输出校验、工具/权限边界。详见 《什么才是好的 Harness》。 |
| 门禁(Quality Gate) | 一个候选模型/策略在上场前要闯的关:规则合法性、精彩率、调用预算等若干条硬指标。 |
| forced_pass | 规则兜底之一:场上只剩一个合法动作(「不出」)时,不请求模型,直接按规则落子。 |
| 决策锚(Decision Anchor) | 把「我是几号、队友是谁、我手里还剩啥、牌权在谁手上」这种一阶事实预先计算好、钉死进输入包,减少模型凭空幻觉。 |
| DouZero | 快手开源的斗地主 RL 预训练模型(arXiv:2106.06135,ICML 2021)。本项目中它不代替 LLM 选动作,而是作为「只读参考」——给 LLM 看一个 top-3 建议,LLM 可以不采纳。 |
| PTIE | Perfect-Training-Imperfect-Execution,训练时给全知信息、推理时只用局部信息,由 PerfectDou(NeurIPS 2022)提出;是本项目做法的反方向对照。 |
| 残局事实(Endgame Facts) | 当对手只剩 ≤2 张等关键条件触发时,harness 预先把「这步会直接输 / 下一手跑不掉」这类公开可证明的结论算好交给模型。 |
| 输出合约(Output Contract) | JSON Schema 级别的协议:规定模型必须回什么字段、index 和 action_key 必须一致、违反就停止——绝不让规则替模型选个「更聪明」的动作糊弄过去。 |
根本约束:弱模型卡在一阶事实
动笔前我盯着 output/landlord/multimodel-v3/missed-immediate-wins.json 看了很久。这个文件里 8 条记录,每一条都是「模型存在合法的『这步出完直接赢』动作,却选了不出」。我原以为模型是因为策略保守、算不清赢面。真实情况更难堪——
逐条验证一下(命令:cat missed-immediate-wins.json | python3 -c '...Counter...',输出见下):
total missed-wins: 8
own_card_count==1 and pass: 6
model-list: deepseek-ai/DeepSeek-V4-Flash, deepseek-flash,
tencent/hunyuan-a13b-instruct, z-ai/glm-4.7-flash
8 次里有 6 次,模型自己手里只剩 1 张牌。它既是「唯一有的牌」、又是「唯一的赢法」,而它选了「不出」。再看私有摘要就更清楚:
- GLM 4.7 Flash(1 张牌):「让地主先出,观察其牌力,保留 Q 控场。」——那张 Q 就是它手里全部。
- DeepSeek V4 Flash(1 张牌,地主):「地主只剩一张且先手,我出 K 无法阻止其获胜,选择不出节省资源。」——它就是地主,先手出完就赢。
- Hunyuan A13B(5 张牌,农民):「保留出牌权,等待队友或对手出牌……」——它正是领出方,不出等于放弃。
这些不是「深度策略误判」,是状态跟踪失败。它分不清:
- 「我手里还有」vs「我已经打掉」
- 「我拿着牌权」vs「我把牌权交出去」
- 「保留控制」vs「我手里只剩这一张」
这就是「X 之所以长成这样,是因为 ____ 这个约束」里要填的那个约束——
弱模型不是算力不够,是在推理每一步的 observation 里,它都要重新「相信」一遍自己是谁、手里还剩什么、牌权在谁手上。而这些事实在前一步的 observation 里是存在的,不是它能稳定提取的。
反事实崩点测试:如果你把这些一阶事实提前算好、以结构化字段递给它(而不是让它从 current / history / hand 自己推理),这类错应该大幅下降——但不是零,因为模型还可能把「保留 Q 控场」这种话术写进摘要,哪怕它选了对的 index。所以结构化字段 + 输出合约(index 必须和 action_key 一致,摘要只是辅助) 是两件事,缺一不可。
harness 做的四件事
把斗地主项目里 harness 的层拉出来过一遍,每一层对应一类错。全部可以在 racing/ 目录下读到源码。
第一件:规则兜底(forced_pass)
landlord_forced_pass.py 全文 47 行。核心是这 4 行判定:
# landlord_forced_pass.py:20-23
def eligible(phase, hand, current, choices):
return (phase == 'playing' and bool(hand) and bool(current)
and len(choices) == 1 and choices[0].get('index') == 0
and choices[0].get('cards') == [] and legal_moves(hand, current) == [[]])
人话:玩家在打牌阶段、手里还有牌、桌上有当前牌(不是自由领出)、合法动作只剩一条、那条就是「不出」——满足这些条件,harness 根本不发请求给模型,直接落「不出」。省调用、省 token、而且模型从源头上没机会在这种位置犯错。
这是 harness 最朴素的一类——把「必然动作」从模型手里拿走。记录 record_type='rule_forced_pass',审计可追溯;本局比赛的 forced_pass_policy='rules-only-pass-v1' 冻结进配置哈希,赛后可核。
但注意看它漏掉的那一类:模型手里有多个合法动作、其中一条是立刻赢、模型选了不出——这个情况下 len(choices) != 1,forced_pass 不生效。所以上面那 8 次「missed immediate win」全部不在这段规则兜底的覆盖范围内。要堵,就得扩这段逻辑,这是后面「继续加杠杆」要讲的第一条。
第二件:决策锚(decision_anchor)
landlord_decision_anchor.py 全文 28 行。它不是让模型做事,是给模型递一张事实卡:
- 你是几号席(
actor_seat) - 你的角色(
role:地主 / 农民 / 叫牌中) - 你的队友是谁(
teammate);地主没有队友 - 你手牌的点数计数(
own_rank_counts) - 你手里是否有炸弹、火箭、三张(
own_four_card_bombs、own_rocket、own_triples) - 一句提示级的中文说明:「本步打出牌后,如果两家过牌,下一轮由本席领出;本步过牌不会自动把牌权交给下一席」
最后一条中文是我盯着那 8 次 missed-win 后加的,为什么?因为模型反复在私有摘要里说「我不出,牌权交给队友」——它把「不出」理解成「把权让出去」,而斗地主的规则是「两家连续过,才回到最后出牌者」。这不是模型学不会的规则,是它每一步 inference 时没把这条规则稳定调用进来。所以 harness 把它作为一阶事实写死在决策锚的「中文解释字段」里,让模型 attention 在包里就能撞上。
决策锚不改变模型的选择权。它只是减少凭空幻觉的空间。
第三件:残局事实(endgame)
landlord_endgame.py 60 行。只在残局激活:
# landlord_endgame.py:11-13
small = observation['phase'] == 'playing' and (
len(own) <= 8 or any(counts[s] <= 2 for s in opponents))
一旦本席余牌 ≤ 8 张或任一对手 ≤ 2 张,就触发残局事实卡。它交给模型几条可核的事实(原文大意):
- 「本次拿到牌权不代表尾牌也能连续领出;核对下一手和再下一手的真实出口。」
- 「对手余 2 张可能以对子或王炸整手出完,不只防报单。」
- 「盖队友后若两家不出,由本人领出;只有卸牌、救急、确定出口等收益才值得消耗阵营控制张。」
第二条就是 verdict.json 里列的根本原因之一——「两张牌整手应答未纳入原一步报单提示」。这类事实卡的作用不是替模型选,是把它可能忽略的局面约束显式化。
第四件:输出合约(output_contract + grounding + action_ack)
模型返回 index(动作编号)和 action_key(动作的字符串标识),二者必须指向同一个合法动作,不一致 harness 直接停。不插入”规则帮你选个更好的”兜底——这件事是说死的,设计里原文:
「真实决策绝不使用演示动作替代。」
这条看着像偏执,但它换来一个关键性质:模型做了什么、赛后能分毫不差地复盘。门禁才有东西可对。否则一旦 harness 自己能悄悄”纠偏”,赛后你无从判断模型本身到底打成什么样。
小结一下 harness 这一层的分工:
| 层 | 文件 | 行数 | 它堵的那一类错 | 堵了之后还剩什么 |
|---|---|---|---|---|
| 规则兜底 | landlord_forced_pass.py | 47 | 唯一合法动作时模型胡乱写摘要 | 多合法动作下的错选 |
| 决策锚 | landlord_decision_anchor.py | 28 | 身份/队友/牌权一阶事实幻觉 | 对事实本身没疑问但策略失准 |
| 残局事实 | landlord_endgame.py | 60 | 残局忽略对手整手出完的威胁 | 中盘的拆牌和控制权权衡 |
| 输出合约 | landlord_output_contract.py | 122 | JSON 字段漏、index/action_key 对不上 | 合规但语义错的摘要(话术) |
| 只读参考 | landlord_neural_reference.py | 62 | 完全不借助牌局先验的瞎打 | 模型不采纳参考时无法分辨「深思熟虑的偏离」vs「没看参考」 |
合计约 320 行 Python,把一类一类的具体错误从模型手里拿走或显式化。这就是书桌上那句「判断归模型,物理归代码」在一个真实项目的样子。
门禁:27 局 25.9% 是怎么算出来的
门禁和 harness 是两件事。harness 在赛前和赛中堵错,门禁在赛后判这个候选模型/策略组合能不能升到公开赛。
output/landlord/quality-batch-v1/verdict.json 是一份标准门禁判定。关键字段:
{
"completed_hands": 27, // 分母
"exciting_hands": 7, // 分子
"exciting_ratio": 0.2592...,
"required_80_percent": 22, // 要进公开赛的硬线
"target_90_percent": 25, // 挑战线
"quality_passed": false, // 没过
"immediate_win_misses": 0, // 本批里 0 次(后面会解释为什么本批是 0,别处是 8)
"successful_real_decisions": 1318,
"by_model": {
"z-ai/glm-4.5": {"hands": 14, "exciting": 2, "mean_score": 5.00},
"z-ai/glm-5.3-prime": {"hands": 13, "exciting": 5, "mean_score": 5.77}
}
}
逐条拆:
- 27 局是人工复盘的样本。按冻结标准由单一回看人逐局 1-10 分打分,7 分及以上记一次「精彩」。27 局最低 3 分、最高 9 分、平均 5.37。
- 门禁线 80% = 22/27。实际 7/27。不过。
- immediate_win_misses: 0 不是全站 8 次都归零——这个字段只统计本批 27 局里有没有 missed-win 硬错误。本批没有,所以 0;但历史上确实发生过 8 次(在
multimodel-v3批次),单独记录。门禁的分母是本批,不是全史,这个边界很重要。 - 分模型看:GLM 4.5 Flash 14 局精彩 2 局(14.3%),GLM 5.3 Prime 13 局精彩 5 局(38.5%)。Prime 比 Flash 好一截,但也离 80% 很远。
verdict.json 还列了 5 条「根本原因」,我原文抄一下:
1. 当前控制权与未来小牌出口混淆,反复声称一路清空。
2. 两张牌整手应答未纳入原一步报单提示。
3. 盖队友后仍误称把权交队友,阵营内重复消耗控制牌。
4. 拆掉三张/对子/炸弹后误述仍保留,公开诈唬污染私有摘要。
5. 固定测试桌聊提示导致重复口号;策略偏好未变成局势相关的权衡。
你发现没有——全是「状态跟踪失败」类型的错,没有一条是「深度策略算得不够远」。这就是上面根本约束的实证。
把门禁拆成两档
一个候选上公开赛,当前门禁合并了两件事:规则合法性/状态一致性 + 人工评定的精彩率。合并带来一个问题:对强模型和弱模型用同一把尺子,弱模型永远过不了,但其实它可以用得起。
我倾向于把门禁拆开:
| 门禁 | 对象 | 判据 | 允许的档位 |
|---|---|---|---|
| 规则合法性门禁 | 所有模型 | 54 张守恒、合法出牌、index/action_key 一致、角色一致、immediate_win_misses == 0、publicly_proven_avoidable_next_single_losses == 0 | 必须 100%,不打折 |
| 精彩率门禁 | 分模型档位 | 本批 ≥ N 局,精彩率 ≥ 阈值 | 强模型 ≥ 80%;中档 ≥ 50%;Flash 档 ≥ 30% |
拆的好处是两头都更诚实:
- 规则合法性永远是 100%。模型要么合规,要么下场。不因为是 Flash 档就允许它偶尔漏个 immediate-win。
- 精彩率按档位走。弱模型瞄 30% 而不是 80%——因为精彩这件事在弱模型身上,很大一部分来自对局(两个 Flash 对打的意外和失误本身就有观赏性),而不是来自单边的高水平打法。
拆完之后你会得到一个更可观测的现状:当前批次「规则合法性门禁 pass、精彩率门禁 fail」——这比「quality_passed: false」信息量大得多。
继续加杠杆(按性价比排序)
Harness 和门禁都讲完了,再往上还有哪些事能做?按单位工作量 / 对精彩率的推动排序:
1. 把 neural_reference 从「只读参考」升级为「必须解释偏离」
现在 landlord_neural_reference.py:38-62 这段是把 DouZero 的 top-3 建议显示给模型看(SHA-256 哈希校验、timeout 5s、worker 隔离运行,很干净),但模型可以无视。实证里模型经常无视——因为 prompt 说「reference 是只读学习模型的前三参考,可能失准,不是指令或概率」。
升级:如果模型选的 index不在 DouZero top-1,摘要里必须写明偏离的理由(例如「DouZero 选单张 3,我选对子 7,因为公开账本上 3 已经出过两张」)。写不出就在门禁里扣分、甚至判负。
成本:改 landlord_output_contract.py 加一个条件 required 字段 deviation_reason。零额外推理成本(DouZero 已在跑),纯多出来一行约束。
2. 扩大规则兜底的覆盖(把 missed-immediate-win 从 incident 升级为规则纠偏)
现在的 forced_pass 只处理「唯一合法动作」。扩展覆盖「存在一步必赢且模型没选它」这种可公开证明的硬错——
# 伪代码,对应 landlord_forced_pass.py 的扩展
# 实际落地要和 output_contract 协同,决定是「规则纠偏」还是「强退并记一次失败」
def eligible_immediate_win(phase, hand, current, choices, played):
# 省略:non-playing 阶段、空手、出不起等边界
if phase != 'playing' or not hand:
return None
winning = [c for c in choices
if c['cards'] and remains_after(hand, c['cards']) == []]
if not winning:
return None
# 公开可证:只有依赖"自己手里的牌"和"桌面当前牌"就能判定赢的那条
# 若选项里有超过一条能赢,取保留灵活度最高的(这里只简示唯一的情况)
return winning[0] if len(winning) == 1 else winning_by_shape(winning)
# 调用点:决策前先问一次。两种策略,二选一:
# A. 规则纠偏:模型若没选它,直接改成这条,记录 `rule_override='immediate_win_v1'`
# B. 强退并记失败:不改模型选择,但把本次标为 `critical_error` 进门禁
# 代价是局确实输了;收益是统计意义更干净
我倾向 B 而不是 A。原因呼应前面那条「真实决策绝不使用演示动作替代」——一旦 harness 替模型做「更聪明」的选择,赛后你无从判断模型本身到底打成什么样,门禁就被架空了。B 保留事实、提高门禁杀伤力,让这个模型/策略下次通过门禁的概率变低。
3. 多模型异源分席
现在一桌三席全是同一个模型(可能是 Qwen Flash × 3)。换成异源分席——地主 Pro、农民甲 Flash、农民乙 GLM——会制造风格冲突。精彩的局很多来自异常和误解;同源同策略下模型会”镜像”出一种乏味的和谐。
成本:桌面调度一处改动,门禁不需要动。证据:本项目 LANDLORD_60_VALIDATION 中混了多个模型的那场,有限样本看就是更有戏剧张力。
4. 精彩预算往舞台侧转
这条最反直觉。既然弱模型的精彩率天花板在 40% 左右,剩下 40%+ 的「观众满意度」就应该不从模型播法里要——
- 桌聊允许诈唬(已经做了)
- 独立观察员”咕咕”猫头鹰解说(已经做了,见
web/landlord-commentary.js) - 教练 3 次/桌、本局 scope 的人类干预(已经做了)
- 颁奖舞台、三种主题(已经做了)
这些不改变模型播法,但改变观众 session 的精彩密度。LANDLORD_DESIGN.md 里花了相当篇幅在这一侧,不是设计师在偏科,是项目早就意识到:弱模型的播法上限不等于观众 session 的上限。
5. 编排残局夹具
像象棋残局题。给模型一个预设的、有唯一正确动作的小局面——比如「地主 1 张、你 2 张、公开账本如此如此,正确动作是 X」。做对是意外彩头,做错解说吐槽。门槛降低了,娱乐性上去了,而且可以成系列——每周一道残局挑战,哪怕模型通过率只有 30%,剩下 70% 的”看它怎么错”本身就是节目。
成本:手工出题 + 残局正解标注。性价比最高的一条。
诚实的边界
这节讲清楚几条我没证明的事:
- 我没证明升级后的 harness 一定能把 25.9% 推到 80%。1 号升级(DouZero 必须解释偏离)我理论上支持,但没有在当前仓里跑完一个完整的 27 局批次对照。
- 我没证明 Flash 档的精彩率天花板就是 40%。这个数来自 GLM 5.3 Prime 的 38.5%(13/13 局),样本太小。可能是 50%,可能是 25%。
- 「异源分席」在本项目的样本有限,LANDLORD_60_VALIDATION 中 60 席赛主要是 DeepSeek Flash 单一模型跑的 7063 次决策;混合模型的数据只在
multimodel-v3批次里有,样本更小。 - 「精彩」是单一回看人按冻结标准打分(27 局平均 5.37 分,边界 7 分记精彩),不是独立多人盲评或用户满意度。门禁判据的客观性只到这一步。
还有一条是和”继续雕 prompt 的回报递减”直接相关的:landlord_compact.py 从 v4 迭代到 v18,一共 18 个版本的输入投影协议。看一眼 v18 的全文:
# landlord_compact_v18.py 全文(14 行)
from landlord_compact_v17 import packet as previous_packet, system as previous_system
def packet(profile, o, choices):
w = previous_packet(profile, o, choices)
w['version'] = 'landlord-compact-wire-v18'
w['representation']['native_wire_version'] = w['version']
w['representation']['output_contract'] = 'legal-move-object-v1'
return w
def system(feedback=None):
return previous_system(feedback) + \
'\nc_purpose最多100字,d_speech最多56字;只返回上述四个字符串字段的JSON。'
v18 相对 v17 的改动是一行 system prompt 补丁 + 输出合约从 schema 切到 object。14 行代码。它可能有用,但从 v4 到 v18 一路做下来,单版本的边际贡献已经非常小。真要让精彩率往上走,答案不在 v19、v20——答案在上面那 5 条杠杆。prompt 层面继续精耕的回报在肉眼可见地递减。
相关论文、算法与工具:别人在同一张桌上做过什么
发完上面那版后我回去把斗地主 AI 和”结构化输出 / 弱模型”两条线的论文过了一遍——不是补文献,是想看项目里那些选择在学术坐标里是什么位置,有没有踩到前人踩过的坑。整理成一张共同祖先图比堆书单有用:
斗地主 AI 这条线
| 论文 / 工具 | 年份 | 一句话核心 | 和本项目的关系 |
|---|---|---|---|
| RLCard (arXiv:1910.04376, AAAI-20 Workshop) | 2019 | 把斗地主/麻将/德州等不完全信息游戏做成统一 RL 环境接口 | 项目没直接用 RLCard,但 DouZero 的作者 Daochen Zha 同一人,手牌/合法动作编码就是从这里演化来的,可以把 landlord_engine.py 看成一个精简版 RLCard |
| DouZero (arXiv:2106.06135, ICML 2021) | 2021 | Deep Monte Carlo + 自对弈 + 动作编码成卡牌矩阵,4 卡几天训出 Botzone 第一 | 本项目用的就是它,但作为只读参考(landlord_neural_reference.py),不替 LLM 选 |
| DouZero+ (arXiv:2204.02558) | 2022 | 在 DouZero 上加「对手建模」+「coach 网络」,Botzone 400 多个 agent 中登顶 | 这个得单独讲,见下文 |
| PerfectDou (arXiv:2203.16406, NeurIPS 2022) | 2022 | 提出 PTIE(Perfect-Training-Imperfect-Execution):训练时给全知信息指导策略,推理时只用局部信息 | 和本项目方向正好相反,是最有价值的对照,见下文 |
| AlphaDou (arXiv:2407.10279) | 2024 | 把叫牌环节一起纳入端到端 RL,同时估胜率和期望 | 本项目的叫牌也走 LLM 决策(compact packet 投影),没有端到端训练;AlphaDou 这条路线更”自动化”,但也更不透明 |
关键区分之一:DouZero+ 的 coach 不是本项目的 coach
DouZero+ 的 coach-guided learning 和本项目的「每人每桌 3 次临场教练干预」听起来是一回事,其实不是。DouZero+ 的 coach 是一个训练时的网络,用来挑选高质量的起始手牌样本给策略网络(我未独立复现它的训练流程,这里按论文原文的描述转述,一手复现证据不在本篇)。本项目的 coach 是推理时的人类,120 字自然语言,带 scope(本局 / 整桌),进入下一次模型请求的 private context。
两者方向差得很远:
- DouZero+ 的 coach 作用于模型自己(训练分布调整),推理时 coach 不在场;
- 本项目的 coach 作用于模型外(推理时注入人类指令),和模型权重无关。
这个区分重要在哪里?在于如果你在 2026 年用国产弱模型做斗地主、看到 DouZero+ 想复用它的 coach 思路——你复用不了。DouZero+ 的 coach 是在训练阶段改分布,你拿不到 Qwen Flash 的训练过程;你能做的只是本项目这种推理时注入。两种 coach 共用一个词,背后是两种工程范式。
关键区分之二:PTIE 是训练时全知,本项目是推理时参考
PerfectDou 的核心主张 是:训练时让 agent 看全部三家的手牌(perfect information),训练出的策略在推理时只用局部信息(imperfect execution)也能表现很好。论文声称相比 DouZero 的 10 倍训练样本仍占优(具体 WP/ADP 数字见论文,我二手引用、未独立复算)。
把 PTIE 和本项目的 landlord_neural_reference.py 画成对照图:
训练阶段 推理阶段
PerfectDou: 全知手牌 + PPO + GAE → 局部观测的 PPO 策略直接出动作
本项目: (不训练, DouZero 已训好) → DouZero 看局部观测 → 出 top-3 建议
↓
LLM 看局部观测 + top-3 建议 + 决策锚 + 残局事实
↓
LLM 出最终动作, 可以不采纳 top-3
方向相反的两条路:PerfectDou 让”全知”进训练然后拿掉;本项目让”已训好的局部策略”进推理作参考,让 LLM 做最后决策。这不是哪条更好的问题——是资源约束不同:
- PerfectDou 需要你能自己训(控制训练环境、能喂全知标签);
- 本项目没训练预算,LLM 还是黑盒,只能在推理时拼装 harness。
拿 PTIE 当做本项目的”反事实崩点”也很干净:如果我们能自己训 LLM,最好的做法是像 PTIE 一样在训练时把三家手牌给它、等它学会用局部信息打;但我们不能训,所以只能退而求其次把 DouZero 的推理时估值当参考喂给 LLM。这就是上一节「升级 neural_reference 为必须解释偏离」那条杠杆的理论支撑——既然训练这条路堵了,推理时的”参考 + 偏离代价”是我们能加的最后一道约束。
结构化输出 / 输出合约这条线
本项目用 landlord_output_contract.py(122 行)强制 LLM 返回 JSON、index 和 action_key 必须一致、不合规直接停。这个「不合规直接停、不替它纠正」的决策看着严格,但在学术上有旁证:
- JSONSchemaBench (arXiv:2501.10868) 用 1 万个真实世界 JSON schema 评了 Guidance / Outlines / Llamacpp / XGrammar / OpenAI / Gemini 六种 constrained decoding 方案,核心发现是即便加了约束解码,当前 LLM 在真实 schema 上的合规率、覆盖率仍有明显 gap(论文具体数字我未独立复算,二手转述自论文摘要)。
- 一个被反复提到的 trade-off:约束解码能保证 JSON 合法性,但可能损伤生成质量——因为模型可能被迫走进 schema 允许但语义不合理的生成路径。
这两条合在一起,正好解释本项目为什么选”不合规直接停”而不是”用约束解码强行套 schema”:项目的 output_contract 不是靠约束解码保证 JSON 合法性,是靠两条独立字段(index 整数、action_key 字符串)互相印证来保证语义一致性——如果模型想输出 action_key: "三带一" 但 index: 0(index 0 永远是「不出」),语义不一致,停。约束解码保证的是语法,这个合约保证的是语义,是两件事。
还没一一验证的那条线:LLM 玩不完全信息游戏
和弱模型打斗地主最直接相关的还有另一堆论文——LLM 玩德州扑克、Liar’s Poker、GuanDan 的 benchmark。网搜结果里出现了 ToolPoker / PokerSkill / Cattle Trade / BluffJAX 等名字,核心结论大致是「前沿 LLM 在不完全信息游戏里仍明显跑不过 CFR+ 这类 solver,需要工具/技能脚手架才能缩小差距」。
但这几个条目我未逐篇 WebFetch 核实原文,不排除搜索结果里有部分摘要失真或条目拼接错误。如果你在读这段并打算做下游工作,建议回 arXiv 自己搜一遍——不要仅凭本节的二手总结就引用。确定存在且可靠的核心结论是上面 DouZero 系那四篇和 JSONSchemaBench,LLM 玩牌这块我只做方向性指路。
一句话定位:本项目在学术坐标里是什么
- 训练侧:DouZero / DouZero+ / PerfectDou / AlphaDou 是在改训练;本项目不改训练,用的是现成国产 Flash 档 LLM,所以上面所有训练侧改进都借不上力。
- 推理侧:本项目的 harness(forced_pass + decision_anchor + endgame + output_contract + neural_reference)是在改推理,把 DouZero 当参考、把一阶事实预算好、把合约卡死。学术上没有一个单独 paper 做了同样的组合,因为学术社区默认你能训,没训练预算的工程取舍不是论文最爱的题目。
- 门禁侧:这是最偏工程的一侧,学术上接近的是 LLM-as-a-Judge 评测方向,但「斗地主局精彩率 25.9%」这种人工打分指标不是标准 benchmark,当前只能作为内部质量门禁使用,不好拿去比较。
把 harness 和门禁都想象成一场比赛的两个岗位。
harness 是赛前的裁判加教练。它干三件事:
- 这步只有一个合法选择(比如桌上压着大王,你只能过)——不问模型,直接按规则执行。
- 把你是谁、队友是谁、你手里还剩啥写在一张卡片上贴到你眼前,别让你每一步都要自己回忆一遍。
- 残局了,提醒你对手只剩两张可能一次出完——不是帮你选,是不让你忘。
门禁是赛后的编辑部。它不管你怎么打,只管这局够不够格发给观众看。关键是把门禁拆成两档——「54 张守恒 / 不许出错牌 / 不许放过必胜」这类硬指标必须 100%,一分不扣;而「精彩率」这件事按模型档位走,Flash 档瞄 30%,别拿强模型的 80% 去量它。
真正反直觉的是最后一步:弱模型的精彩率有天花板,剩下的精彩预算必须往舞台侧转。桌聊诈唬、解说猫头鹰、颁奖纸屑、人类教练的本局干预——这些不改变模型打成什么样,但改变观众一场坐下来看完的体感。LANDLORD_DESIGN.md 花在舞台编排上的篇幅不是设计师偷懒不优化模型,是项目早就想明白了:弱模型玩家的播法上限 ≠ 观众 session 的上限。
一句能复述给同事的话:让弱模型打斗地主,不是靠把 prompt 调得更漂亮,是靠 harness 把它犯一阶事实错的空间物理上封掉,然后门禁给它一把合身的尺子——精彩不够的部分,用舞台去凑。
接下来我想试的是把前面那条 2 号杠杆(missed-immediate-win 的规则兜底强退)落到一个新 batch 的 27 局里,看它能把 immediate_win_misses 从 8 真的清到 0——以及清到 0 之后,精彩率有没有同步上来。如果有,上面那一通推理有一个新证据;如果没有,那说明「状态跟踪失败」还有别的入口,harness 这边还有坑没堵。做完会更新到这一篇或续篇。
参考来源
arXiv 论文
- DouZero (arXiv:2106.06135, ICML 2021)——本项目用的开源斗地主 RL 模型,作为
landlord_neural_reference.py的只读参考。 - DouZero+ (arXiv:2204.02558)——coach-guided learning 是训练时的分布调整,和本项目推理时的教练干预是两件事。
- PerfectDou (arXiv:2203.16406, NeurIPS 2022)——PTIE 框架,训练时全知、推理时局部;是本项目「DouZero 作推理参考」的反方向对照。
- AlphaDou (arXiv:2407.10279)——把叫牌环节纳入端到端 RL。
- RLCard (arXiv:1910.04376, AAAI-20 Workshop)——不完全信息牌类游戏统一 RL 环境接口。
- JSONSchemaBench (arXiv:2501.10868)——10,000 个真实世界 JSON schema 评测六种约束解码方案;佐证本项目”不合规直接停”合约设计的必要性。
工程实践 / 一手来源(本项目源码)
racing/landlord_forced_pass.py:20-23——规则兜底唯一合法动作的判定。racing/landlord_decision_anchor.py——28 行的决策锚全文。racing/landlord_endgame.py:11-13——残局激活条件(本席余牌 ≤ 8 或任一对手 ≤ 2)。racing/landlord_neural_reference.py:38-62——DouZero 只读参考,带 SHA-256 校验和 5s timeout。racing/landlord_compact_v18.py——14 行迭代,示例 prompt 调优的边际回报。output/landlord/quality-batch-v1/verdict.json——27 局门禁判定,exciting_ratio: 0.2593。output/landlord/multimodel-v3/missed-immediate-wins.json——8 条 missed-immediate-win 原始记录。racing/LANDLORD_60_VALIDATION.md——60 席赛 7063 次成功决策、1281 万 token 的完整证据。racing/LANDLORD_DESIGN.md——舞台侧编排(解说、颁奖、主题切换)设计稿,证明精彩预算往舞台侧转。
站内相关
- 《什么才是好的 Harness:判断归模型,物理归代码》——本文「harness 四件事」的书桌版论证。
- 《别再把 harness 当实现细节》——harness 作为可测量变量的研究进展。
- 《Harness 时代的四条战线》——harness 架构必然性的更大背景。