我希望做一个能够公开分享、对支付行业有用的模型,于是让 Codex 从数据生成、训练到评测跑了一遍。旧版在合成测试上的准确率,从 45.625% 提升到 64.0625%;但同一份测试中,一个简单的文字分类器拿到了 70.7292%。
随后换用 Qwen3-1.7B 做候选答案评分。最后一轮停止前,保存的检查点在 192 条验证题上答对 55 条,基础模型答对 50 条。它还没有完成测试集评估。我选择暂停训练,保留检查点、日志和失败记录。
旧版:438 / 960 → 615 / 960;简单分类基线为 679 / 960
新版:验证集 50 / 192 → 55 / 192;测试集成绩尚未产生
这两行不能接成一条上升曲线:旧版和新版使用了不同的数据版本,前者是探索性测试结果,后者只是训练期间的验证结果。
本文记录的是一次领域模型研究实验。代码与训练由 Codex 在本地执行,训练数据是原创虚构支付规则,尚未经过支付专家和母语使用者审核;没有连接真实付款执行器,也没有上传模型到 Hugging Face。文中的实验数字可以用文末公开的逐题预测重新计算。
一笔付款出现“失败”两个字,为什么答案仍可能是“未知”
先看一份虚构渠道记录。以下规则仅用于解释本实验,不代表任何真实银行的操作要求。
当前付款尝试编号:2
收到一条成功通知:已验证,但属于尝试 1
收到一条失败通知:属于尝试 2,但尚未验证
网络请求超时
渠道支持主动查询
虚构规则:只采用已验证、且属于当前尝试的事件。
网络超时不能单独证明付款已经失败。
无法确认最终状态时,优先查询。
旧成功通知不能证明第二次付款成功;未验证的失败通知也不能证明它失败。按照这套虚构规则,三个问题的标准答案应当是:
{
"payment_state": "unknown",
"next_action": "query",
"evidence_sufficient": "no"
}
这里并排展示的是三个问题的标准答案,方便理解任务;并非展示模型已经答对的一次调用。当前实现会分别为这三个问题评分。
这就是我们想解决的问题:读懂规则与证据,区分证据属于哪次尝试、是否可信,再从有限的答案中选择。第一阶段只做付款状态、下一步动作、证据是否充分三个任务。收单风控、退款、拒付和换汇策略都没有进入这次训练,不能从这三个任务推断模型已经掌握整个金融领域。
如果所有事实都已经整理成字段,而且规则固定,一段普通程序就可以执行判断。模型的潜在价值在于读懂自然语言材料里的事实、条件与歧义。如果拿掉读材料的困难,这个小模拟器里的大部分判断就不需要语言模型。
在软件系统里,判断与执行还隔着一层。例如模型选择了“重新付款”,系统仍要核实状态、权限、幂等约定和额度。本轮只实现了研究图中的评分与评测部分。
flowchart TD
I["虚构规则、证据和问题"] --> O["提供候选答案"]
O --> M["模型为候选项打分"]
M --> P["把分数转换成概率"]
P --> E["对照标准答案,统计错误"]
P -. "未来业务接入" .-> G["独立规则校验与人工复核"]
G -.-> X["业务执行器:本轮未接入"]
模型先产生分数,概率是后面算出来的
理解后面的实验,只需要先分清几种数字。
参数是模型里能够被训练调整的数字。训练改变这些数字,让模型以后面对输入时产生不同输出。向量是一串按顺序排列的数字,例如 [0.2, -0.4, 0.7]。把一句话变成向量,就是把文字转成后续程序能够计算的表示;某个位置通常没有“这个数就是成功概率”这样的直观含义。
模型读完题目后,会给每个候选答案一个分数。这个尚未转换成概率的分数叫 logit,可以为正、为负,也不要求加起来等于 1。
假设一道演示题只有两个选项,分数分别是 1 和 2。这里的数字用于说明运算,不是本次模型的预测。常用的转换方法叫 Softmax:
- 把每个分数变成一个正数:
exp(1) ≈ 2.718,exp(2) ≈ 7.389。 - 把正数加起来,得到约
10.107。 - 各自除以这个总数,得到约
0.269和0.731。
exp(x) 表示以约 2.718 为底数的指数运算。这里需要记住的性质是:它把任意实数变成正数,原分数越大,结果越大。除以总和之后,各项就在 0 到 1 之间,并且加起来等于 1。
用公式写,就是:
其中,z_i 是第 i 个候选项的分数,p_i 是转换后的概率;分母表示把所有候选项的正数相加。
需要注意,0.731 只表示模型在这组候选项中的相对倾向。即使两个答案都不适合,它们的概率仍然必须加起来等于 1。因此,候选项设计本身很重要:信息不足、未知、需要复核等情况必须有合适的出口。
这类有限答案接口可以减少文字解析错误。它与 Google Gemini Decision 1、TypeSafe Jev 想服务的软件判断需求有交集,但不能据此认为底层实现相同。Google 官方文档公开了类型化问题与候选评分接口;TypeSafe 的介绍描述了其专用架构和校准训练方法。本轮没有调用这两个服务,也没有复现其内部架构、训练方法或性能。本站此前的 Google Decisions API 实验记录的是另一组独立实验。
训练怎样让正确答案的分数变高
假设标准答案是 B,模型却把大部分概率给了 A。训练需要一个数字来描述这次预测有多差,这个数字叫损失。本实验使用交叉熵损失:标准答案得到的概率越小,损失越大。
单道题的写法是:
log 是自然对数,在这里把概率转换成一种惩罚:越自信地答错,惩罚越大。比如标准答案得到 80% 的概率,损失约为 0.223;只得到 20%,损失约为 1.609。这也是解释用的算术例子。
报告中的 NLL,即负对数似然,可以理解为把这类惩罚在一批题目上取平均;越低越好。它与准确率观察的是不同的事:把正确项的概率从很低抬高一些,可能降低损失,但只要它还没成为第一名,这道题仍然算答错。
一次训练大致经过以下步骤:
读一小批有标准答案的题目
→ 计算候选分数与损失
→ 计算参数怎样变化能降低损失
→ 按选定的学习率更新参数
→ 换下一批题目
计算变化方向的过程叫反向传播;得到的方向信息叫梯度。负责根据梯度修改参数的算法叫优化器。学习率决定每次修改的幅度,太大可能来回震荡,太小可能迟迟学不会。
这也解释了几个容易混淆的训练词。一个 batch 是一次处理的小批题目;一个 epoch 是把选定的训练数据遍历一轮。一个小批次完成前向、反向计算,并不一定马上修改参数:梯度累积会先攒几批的梯度,再更新一次。
本次 Qwen 的两个配置就有这个区别。第一轮每 8 个小批次更新一次,所以记录到小批次 512 时,完成了 64 次参数更新;第二轮每个小批次更新一次,记录到 768 时对应 768 次更新。这个差异可以直接从配置和 src/paydecision/native_training.py:204 附近的更新逻辑核对。
不过两轮还同时改变了数据、学习率和训练层数,不能把结果变化单独归因于更新次数。它提示的是:比较训练预算时,要看模型实际上修改了多少次参数,不能只比日志里的 step。
第一条路线:先把文字压成向量,再比较答案
最早的实现采用 intfloat/multilingual-e5-small。编码器可以理解成一个文字到数字的转换器:给它一段材料,它输出一串数字,供分类或匹配使用。E5 的官方模型卡说明,这个版本的表示长度为 384,主要通过文本配对学习表示。固定版本模型卡
我们分别编码两种文字:一边是上下文材料,另一边是“问题加某个候选答案”。随后把两串向量、它们的逐位差值绝对值、逐位乘积拼在一起,交给一个小评分网络。
flowchart TD
C["上下文材料"] --> EC["同一个 E5 编码器"]
Q["问题加一个候选答案"] --> EO["同一个 E5 编码器"]
EC --> HC["384 个数字"]
EO --> HO["384 个数字"]
HC --> F["拼接两串表示、差值绝对值、逐位乘积"]
HO --> F
F --> H["1536 个数字进入小评分网络"]
H --> S["得到这个候选答案的分数"]
可以先用两位数字理解这个操作。假设材料向量为 [1, 2],候选向量为 [3, 1],差值绝对值为 [2, 1],逐位乘积为 [3, 2];拼起来就是 [1, 2, 3, 1, 2, 1, 3, 2]。差值与乘积只是给评分网络多提供几种比较方式,不是人工写好的对错判断。
实际使用四份长度为 384 的表示,拼接长度是 4 × 384 = 1536。评分网络把 1536 个输入连接到 256 个中间单元,再输出一个分数,总共 393,729 个参数。具体拼接在 src/paydecision/finetuning.py:28 的 pair_tensor() 中。
第一轮只训练这个评分网络,E5 的 117,653,760 个参数保持不变。这叫冻结编码器。它的优点是训练便宜;局限是编码器原来的表示未必保留了当前任务需要的细节。
例如“付款失败”和“尚不能确认付款失败”在主题上很相近。用于搜索的向量可以把它们放得很近,而付款判断需要格外保留否定、验证状态和尝试编号。我们有理由怀疑这种任务差异影响了表现,但本次没有单独做实验量化它。
第二轮让损失同时调整 E5 和评分网络,叫联合微调,也就是让文字表示跟着任务一起改变。这次共有 118,047,489 个参数参与训练。这里始终是在已有开放模型上做领域适配,没有从头训练一个基础语言模型。
第二条路线:让 Qwen 直接给答案字母打分
后来换用 Qwen/Qwen3-1.7B,固定到同一个不可变版本。它是一个约 17 亿参数的语言模型,官方模型卡提供思考与非思考模式。固定版本模型卡
本实验没有让它写完整答案,而是把候选项排成:
A. 成功
B. 失败
C. 处理中
D. 未知
E. 需要复核
模型读完上下文、问题和候选项后,通常会为“接下来可能出现哪个 token”计算分数。token 是模型处理文字时使用的片段;本实现检查 A、B、C 等字母各自都对应一个独立 token,然后只取这些字母的分数,做 Softmax。
核心路径在 src/paydecision/native_choice.py:119,可简化成下面的代码。这里的 letter_token_ids 是当前候选字母对应的编号:
# 路径摘录:输入文本已经转换成模型所需的数字编号。
output = model(**inputs, logits_to_keep=1).logits[:, -1, :]
choice_scores = output[:, letter_token_ids]
logits_to_keep=1 的含义是只保留最后一个位置的输出分数。[:, -1, :] 可以读成:取每道题最后一个位置、对全部词表项的分数;第二行再从中选出答案字母对应的几列。模型仍然需要计算整段输入,一次前向计算不等于只读一个字。这条路径没有调用 generate(),因此没有逐字输出解释,但本轮没有建立与其他产品可比的速度或费用优势。
提示模板使用 enable_thinking=False,关闭额外思考文本。它仍然进行神经网络计算,只是不先生成一段推理过程。这个设定也限制了结论:基础模型在这种单步字母评分接口上的低分,不能代表它在正常生成、允许多步推理时的全部能力。
为说明分数是在什么位置读取的,下面完整展示一条冻结验证记录套用模板后的输入。它是另一条实际合成题,当前尝试为 7;导出时只运行了分词器和模板,没有启动模型推理或训练。
<|im_start|>system
Answer exactly one uppercase letter corresponding to the best choice.<|im_end|>
<|im_start|>user
Context:
网络超时不代表最终失败。
• 观察证据 / 成功 (已验证=是, 尝试编号=6); 处理中 (已验证=否, 尝试编号=7); 失败 (已验证=是, 尝试编号=6)
• 规则 / 当前尝试=7; 重试延迟=500; 最多尝试次数=8; 等待时限=1235; 允许重新付款=是; 已过时间=500; 支持查询=否; 支持安全同键重放=否
仅采用已验证且属于当前尝试的事件。最终状态优先于处理中;成功与失败冲突则人工复核。否则有处理中记录则为处理中,无则未知。规定行动:冲突→人工复核;成功→停止;失败→仅在允许、已过时间≥重试延迟且尝试次数<上限时重新付款,否则停止;处理中且已过时间>等待时限→人工复核;其余优先查询,若不支持则安全同键重放,若也不支持则等待。证据充分当且仅当存在已验证的当前尝试最终状态且无最终状态冲突。
Question:
证据支持哪种付款状态?
Choices:
A. 未知
B. 处理中
C. 人工复核
D. 成功
E. 失败<|im_end|>
<|im_start|>assistant
<think>
</think>
<|im_start|> 与 <|im_end|> 划出一条消息的起止;system、user、assistant 表示指令、用户材料和助手答复三个角色。空的 <think> 块由关闭思考的聊天模板产生。输入到这里结束,不追加标准答案,再读取下一位置的 A 至 E 分数。
同一个固定版本分词器给出的 A、B、C、D、E 编号分别为 32、33、34、35、36;这些是词表编号,不能当成答案得分。完整文本及其结尾换行保存在提示样例 JSON 附件的 prompt 字段中。每题评分与多题共享输入计算是两种不同的服务设计,本轮没有实现后者。
与 E5 路线相比,Qwen 会把材料、问题、全部候选项放在一起读。理论上,它有机会直接对齐“当前尝试”“尚未验证”等条件与答案;实际是否更好,仍要用同一任务验证。
LoRA 只训练少量新增参数,基础模型仍然要加载
直接修改整个 Qwen 模型,会增加训练所需的内存。我们采用 LoRA:冻结原有参数,在选定位置增加两组较小的可训练参数,让它们共同产生修正量。它类似于在原有计算旁边增加一条可以学习的修正路径。LoRA 原论文
为了看懂公式,先看一次很小的计算。输入为 [2, 3],某个输出对应的权重为 [0.5, -1],把对应数字相乘再相加,得到 2×0.5 + 3×(-1) = -2。需要很多个输出时,就把很多行权重排在一起,形成矩阵,也就是按行列排列的参数表。
LoRA 不直接改原来的大参数表,而是增加两张较小的表:A 先把输入映射到较窄的中间表示,B 再映射回原来的输出宽度。两张表的乘积构成修正量:
W 是原来的参数表,训练时冻结;A、B 是新增的小表;r 决定中间表示的宽度,α 控制修正量的缩放。本轮使用 r=16、α=32。rank 为 16,并不是只改 16 个参数,更细的解释可读 LoRA rank 的数学直觉。
注意力让一处文字参考材料里的其他位置,例如让“失败”结合前面的“未验证”一起表示。我们把 LoRA 加在注意力模块的 q_proj 和 v_proj 上,可以先把它们理解为决定关注什么信息、怎样携带这些信息的两类参数。第一轮覆盖全部 28 层,共训练 3,211,264 个新增参数;第二轮只覆盖最后 8 层,训练 917,504 个新增参数。
因此,917,504 是第二轮的可训练补丁参数量。运行它仍需要原来的约 17 亿参数基础模型。以后即便只发布一个很小的适配器文件,也必须说明它依赖哪个基础模型和版本。
7,680 条数据,只有 640 份场景记录
数据来自一个普通 Python 模拟器。我们先写下虚构规则,再生成证据和规则参数,由模拟器计算标准答案。这种自动提供标准答案的程序常被叫作 oracle;本实验的 oracle 只是既定虚构规则的实现,没有获得真实银行或支付专家的权威。
最初版本按交易家族分组,避免同一家族跨训练、验证、校准、测试混用,但每个分区用了不同的文字排版。后来发现,这同时引入了格式分布差异:模型在训练中看到的格式,与验证和测试的格式不同。
第二版让常见排版同时出现在各分区,继续隔离场景组。此时评测回答的是“相近表达形式里的新场景能否判断”,不能再宣称测试的是全新格式。
独立代码审查随后指出,早期成对案例除了改变业务事实,也改变了排版、证据顺序;重试次数耗尽、等待时间不足等分支覆盖也不完整。我们据此做了 v2.1:每组两个案例,只改一个事实,保留相同排版、事件顺序和候选顺序。
| 成对案例 | 唯一改变的事实 | 主要检查什么 |
|---|---|---|
| 重试权限 | 不允许改为允许 | 模型是否读取明确授权条件 |
| 重试延迟 | 已过时间从延迟前一单位变为刚好达到延迟 | 是否处理数值边界 |
| 次数预算 | 次数上限从已耗尽变为还剩一次 | 是否忽略重试上限 |
| 查询能力 | 不支持查询改为支持查询 | 是否按渠道能力选择动作 |
| 等待时限 | 已过时间从刚好到时限变为超过时限 | 是否区分等于与大于 |
| 成功证据 | 未验证改为已验证 | 是否把不可信通知当作事实 |
| 冲突证据 | 一条失败通知从未验证变为已验证,同时已有成功证据 | 是否发现最终状态冲突 |
| 尝试编号 | 失败事件从历史尝试改为当前尝试 | 是否混用旧事件 |
这种测试叫反事实测试:把同一个案例里的一个条件换掉,检查答案是否随应有的逻辑变化。它比单独统计很多相似题更能暴露模型是否抓住关键条件。
这里仍有业务建模上的局限。例如模拟器把一些暂不满足重试条件的情况归为 stop,表示本次不发起新付款;它没有实现真实业务中的延迟重调度。未来需要专家重新定义 stop、wait 等动作的时间范围,才能避免把过于粗糙的标签带进真实系统。
我重新数了冻结数据的文件行数:
train.jsonl 4608
validation.jsonl 1152
calibration.jsonl 960
test.jsonl 960
contracts.jsonl 640
前四个文件合计 7,680 条模型题目;最后一个文件保存 640 份场景设置。同一场景要生成中文、英文、泰文、印尼文四种表达,再分别问三个问题,所以一份场景会展开成 12 条题目。
这些场景又组成 320 个两案例组,分别分入训练、验证、校准和测试,组数为 192、48、40、40。翻译和多任务展开增加了题目行数,没有相应增加独立的业务场景。四种语言也没有经过母语使用者审核,不能当作四个国家的实际通道覆盖。
四份数据各有用途,不能看到答案就随手拿来训练
训练集用于修改模型参数。验证集用于比较配置、选择保存哪个检查点;虽然它不直接提供梯度,但我们看了它来作决策,因此它也不能充当最终独立成绩。
校准集用于调整分数如何映射成概率,此时模型权重已经固定。测试集用于在模型、配置和校准方法确定之后检查效果。任何根据测试成绩继续作出的改动,都会使这份测试更适合被称为探索性评测。
本次 E5 的 960 条测试在两阶段实验中被复用,不能包装成一次全新的独立验收。Qwen 新版虽然准备了专门的校准和测试分区,但训练已中断,这两项评估尚未运行完成。
所有语言版本、同一场景的三个问题、只改一处事实的配对案例,都要跟着场景组一起划分。若简单按行随机分割,很容易把一道题的中文版本放入训练,把它的英文版本放进测试;分数会包含我们不想测的重复信息。
旧版多答对了 177 题,仍比简单基线少答对 64 题
先看同一份 v1 合成测试,所有方法都评了 960 条:
| 方法 | 怎样作判断 | 答对数 | 准确率 |
|---|---|---|---|
| 训练集多数类别 | 每个任务总猜训练中最常见的答案 | 362 | 37.7083% |
| TF-IDF 加逻辑回归 | 统计文字片段,再对固定类别打分 | 679 | 70.7292% |
| 冻结 E5,只训练评分头 | 原有文字表示保持不变 | 438 | 45.6250% |
| E5 与评分头联合微调 | 文字表示也跟着任务调整 | 615 | 64.0625% |
基线就是拿来判断新方法是否值得的参照。TF-IDF 可以粗略理解为把文字片段出现的情况转成数字特征,逻辑回归再利用这些特征分类。这条基线对三个任务分别训练,输入是完整上下文加问题,不读候选项的描述;输出训练中已有的类别,再映射到当前候选 ID。
它采用连续 2 到 4 个字符组成的片段,因此中文、泰文都不依赖按空格分词。配置为 analyzer="char"、ngram_range=(2, 4)、最多 20,000 个特征、片段至少出现在 2 条训练记录中;逻辑回归使用 C=4、最多 500 次优化迭代,随机种子为 20261113。C 控制对参数复杂度的约束强度,数值越大,约束越弱。词表与分类器都只从 v1 的 4,608 条训练记录学习。
这次 E5 模型也使用同一训练分区,只在这些已定义任务与标签上接受了评估。它允许传入候选描述,但本轮没有证明能泛化到任意新候选项。基线输入与特征配置对应 src/paydecision/baselines.py:32 的 TextBaseline,也随指标附件保留。
联合微调比只训练评分头多答对 177 题,提升 18.4375 个百分点;距离 TF-IDF 仍差 64 题。这说明第一轮的冻结表示确实不是我们试过的最佳方案,也说明更复杂的神经网络还没有在这份任务上胜过简单方法。
联合微调计划跑三轮,训练 NLL 依次为 1.1351、0.4322、0.1873;验证 NLL 却从约 0.951 变为 2.359、2.771。我们按验证 NLL 选择了第一轮检查点。
练习题上的损失继续下降,另外一份题上的损失却上升,呈现出过拟合的迹象:参数越来越适应练习数据,面对另外的数据却变差。格式差异和优化过程的影响尚未被单独分离,不能把退步全归为某一个原因。
实际工程中还遇到过一次训练中断:在 Apple 芯片的 GPU 加速路径 MPS 上要求确定性计算时,嵌入层反向传播没有对应的确定性实现。后来固定抽题与初始化所用的随机数起点,也就是随机种子,同时明确 MPS 不保证逐位可复现,才继续完成联合微调。后来的独立离线重载复查,复现了这 960 条题的预测,但不能据此承诺换机器或重训也逐位相同。
概率校准之后,测试上的概率反而更差
准确率只看第一名选得对不对。假如模型给一批题都报 90% 的把握,最后只有 60% 答对,程序就不该直接相信那个 90%。让概率与实际答对频率相称,叫概率校准。
本实验采用温度缩放:先把分数除以一个正数 T,再做 Softmax。T 大一些,概率会更平缓;T 小一些,概率会更集中。因为同一道题的所有分数都除以同一个正数,它不会改变第一名是谁。
沿用前面的演示分数 1 和 2,把 T 设为 2 后,概率会从约 0.269 / 0.731 变成 0.378 / 0.622。模型仍然选择第二项,只是没那么自信。这些演示值已用脚本验算;实际温度由独立校准分区拟合,不能凭感觉指定。Guo 等人的校准论文介绍了这种后处理方法。
实际拟合按三个任务分别进行,每个任务使用 320 条校准记录,通过降低该任务的校准 NLL 选择温度,搜索范围为 0.05 至 20。下面都是日志里的真实数值,前面的 T=2 只是讲运算用的示例:
| 任务 | 拟合温度 T | 校准集 NLL:调整前 | 校准集 NLL:调整后 |
|---|---|---|---|
| 证据是否充分 | 2.039513 | 0.646870 | 0.581801 |
| 下一步动作 | 2.409081 | 1.747503 | 1.436340 |
| 付款状态 | 2.200387 | 1.502329 | 1.272403 |
三个任务的校准 NLL 都下降了,但将固定温度应用到 E5 联合微调的测试数据后,得到:
原始分数:准确率 0.640625,NLL 0.870803,ECE 0.030502
温度缩放:准确率 0.640625,NLL 0.952793,ECE 0.145082
ECE 是一种平均校准误差。这里把预测把握分进 10 个区间,分别比较每个区间里的平均把握与实际答对比例,再加权平均;越低越好。它是整体指标,仍可能掩盖某个动作或少数案例的问题。
校准后,准确率没变,NLL 与 ECE 都恶化了。拟合步骤确实降低了校准分区上的损失,这不保证同一温度对另一份数据也有效。原先不同分区采用不同排版,是可能原因之一;但我们没有完成隔离变量的对照实验,也尚未排除应用流程等其他问题,不能断定这就是全部原因。温度拟合对应 src/paydecision/calibration.py:32 的 fit_temperatures()。
这个结果足以支持一个更窄的判断:本轮不能把“做过温度校准”当成“概率已经可信”的证据。下一轮必须继续报告原始概率与校准概率,并检验它们能否迁移到目标场景。统计学与模型不确定性可以作为这部分的延伸阅读。
外部支付题只覆盖了 69 道,训练评分头没有表现出迁移优势
我们还用 E5 联合微调版本评了公开支付基准 BenchCompass的 L1-normal 选择题。这里采用带参考材料的答题方式,也就是把题目允许使用的上下文一并提供给模型。
该部分共 95 道题,E5 路径限制输入最长为 512 token。为了避免悄悄截掉关键证据,超过窗口的 26 道题被明确排除,实际评了 69 道,覆盖率 72.63%。
训练后的评分头答对 15 道,准确率 21.7391%。使用同一个微调后编码器、直接以向量方向的接近程度做匹配,得到 46.3768%。这项接近程度通常叫余弦相似度;它本身也不等于事实正确概率。
这说明在这 69 道题上,训练评分头没有带来可迁移优势。它不能证明模型在全部支付任务上的水平,也不能拿来与上游完整榜单排名比较:我们的覆盖有限,推理与评分方式也不同。公开题还可能出现在基础模型预训练中,本次没有做污染审计。
这些题没有进入训练或温度拟合,也没有用于选择 E5 检查点;但后续架构讨论已经知道它的结果。因此未来若要作更强的对外能力声明,仍需要一份独立保留、不会反复用于改方案的验收题。
Qwen 新版最后是 55/192,13 道训练题全对属于另一件事
第一轮 Qwen LoRA 在自己的 192 条 v2 验证子集上,从基础模型的 26.5625%,走到 27.0833%、22.9167%。同时出现明显的主机内存压力,我们停止了这轮,保留基于验证 NLL 选择的检查点。
之后做了一个小诊断:从这轮保存的适配器出发,只取 13 道英语训练题反复练习。只更新最后 8 层的 LoRA 参数,先训练 64 步,再以另一学习率追加 256 步,最终 13 道全对。保存适配器、重新加载基础模型与适配器后,这 13 道题的预测完全一致,最大分数差为 0。
它回答了两个问题:这条训练路径能不能学会这些题,文件保存后能不能恢复这些预测。它没有回答新题能不能做对。反复练过的题目全对,与独立考试全对之间,还隔着泛化这一步。
新的正式训练 native-002 从原始 Qwen 基础模型重新开始,没有加载这套 13 题诊断补丁。它采用 v2.1 数据,从 4,608 条训练记录里均衡抽取 1,536 条作为训练子集,并从 1,152 条验证记录里抽取 192 条作检查。
停止前的验证轨迹如下。这里的 step 指小批次;新版每批之后都更新参数。
| 检查点 | 验证答对数 | 验证准确率 | 验证 NLL |
|---|---|---|---|
| 未适配的基础模型 | 50/192 | 26.0417% | 6.0521 |
| step 256 | 40/192 | 20.8333% | 1.8260 |
| step 512 | 43/192 | 22.3958% | 1.6440 |
| step 768 | 55/192 | 28.6458% | 1.5698 |
分数分布明显改变,最后一次也比基础模型多答对 5 道,但这还不足以建立稳定的能力提升结论。验证题还包含同一场景的相关视图,不能把 192 条都当作完全独立的业务案例。不同任务的候选数量也不同,这里不存在统一的“随机猜就是 25%”基线。
原计划是两轮、合计 3,072 个小批次,并在之后完成校准与测试。现在训练已经按我的要求停止,保存的最佳验证检查点位于 step 768。新版的完整测试、外部公开题评估、最终保存后重载评估都没有完成;后面的路线都是计划,不会自动重启训练。
如果恢复项目,先找出模型究竟卡在哪一步
若要恢复,最先需要回答的是:同一个基础模型在允许正常推理时能否答对这些规则题?当前的低分还不能区分基础能力不足、题目设计有问题,以及单步评分适配不足。
先区分读不懂规则,还是单步评分接口不合适
本轮没有把以下几种方式放在同一份验证题上比较:正常生成答案的 Qwen、允许生成推理过程的 Qwen、现在的单步字母评分、另一种把材料与候选项一起读的编码器评分模型。
这组对照能检验一个具体假设:如果同一基础模型在允许多步推理时能答对,单步评分却差,问题可能主要在把推理能力压缩成直接选择的训练方式。如果多步推理也差,就应先检查题意、证据表达和基础能力。
这组对照需要统一题目与提示,记录 token 用量、耗时和每道题的差异,只用训练和验证材料作决策;最终验收题留到方案冻结之后。一次只改一个主要因素,涨分后才有机会解释原因。
如果较强模型能在专家认可的题上稳定给出可靠答案,可以尝试知识蒸馏:让较强的教师模型提供训练目标,训练较小的学生模型直接判断。老师的答案仍需验证,模型生成的数据不会自动成为标准答案;本轮尚未做蒸馏。
增加独立业务变化,先别把行数当作主要成果
v2.1 的八类配对案例修复了部分测试设计问题,但仍共享同一套模拟逻辑。下一批应增加真正不同的场景:证据缺失、重复通知、时间单位变化、规则版本冲突、事件时序变化、候选动作描述变化,以及需要明确回答无法判断的材料。
一个有用的检查是:改写排版与顺序,答案应保持;改变验证状态、尝试编号或关键阈值,答案应按规则改变。两种变化都要测,才能区分模型在跟着格式走,还是在跟着事实走。
生成器、去重、分组隔离和自动规则核验可以继续自动化;真实业务上的正确标签、动作语义和译文自然度,需要支付专家与母语使用者参与。代码审查只能确认程序是否执行了写下的规则,不能替代他们判断规则本身是否合理。
让模型读材料,让普通程序检查明确的数值条件
如果需要比较“已过时间是否达到重试延迟”,一种可验证的替代路线是:模型先提取事件、验证状态、尝试编号和时间字段,程序再执行明确的数值与权限判断。
这样更容易检查哪一步出了错:字段读错了,还是规则计算错了。也能单独给每个提取字段测准确率。不过缺失字段必须保留为未知,不能悄悄补成允许执行的默认值。
这会改变产品的能力边界。若主要收益来自外部规则计算,就应发布为语义提取与确定性决策组成的系统,分别报告两部分结果。不能把程序纠正后的成绩全部记作模型自身的判断能力。
如果依然选择端到端评分,也值得比较交叉编码器:把材料、问题、某个候选项一起读,使它们在模型内部直接相互参照。它有机会补足双路向量压缩丢失的信息,但通常要为多个候选付出更多计算。能否提高对否定和证据归属的敏感度,需要配对案例验证。
同时看危险错误和愿意处理多少案例
支付动作中的错误代价不同。把应查询的案例误判成等待,与错误允许再次付款,不应只在总准确率里各算一分。
下一轮至少要分别统计:本来不允许新付款时错误允许了多少次、正确允许的案例又被拒绝了多少次、多少案例交给人工处理,以及自动处理部分还剩多少错误。
最后两项分别对应覆盖率与选择性风险:覆盖率是模型愿意自动处理的比例,选择性风险是这些已处理案例中的错误比例。一个从不建议重新付款的模型,可能没有错误允许,但也可能没有完成任何有价值的判断。
这些指标应按任务、语言和场景家族分别报告,在校准集上选阈值,再到未参与选择的题上检验。比较两个模型时,还应按整个场景组抽样、反复计算差值,避免把相关翻译题当作独立证据。有关小样本差异的背景可读 评测分数的统计地基。
先证明某条路线有效,再投入更大模型和训练预算
如果正常推理的基础模型已经答对,而单步评分版本答错,先改适配训练;如果连正常推理都处理不了规则,再比较更强基础模型。若训练题已经学会、新场景却不行,优先增加独立场景与表达变化。
如果后续确认错误集中在支付术语与文档表达,还可以研究领域继续预训练:先通过预测后续文字熟悉领域文档,再做有标准答案的任务训练。是否值得,要看新术语题是否改善、已有通用题是否退步;本轮尚未验证,也没有足够语料支持直接投入。
本地效率方面,缩小训练层数已经让小样本诊断能够完成;以后可以继续测试梯度检查点等方法。梯度检查点的意思是少保存部分中间结果,在反向传播时重新计算,以额外计算换内存。若要使用更大显存或云端算力,应在某个对照已表现有效之后另行确定预算,而不是先扩大消耗。
对外能力声明要与具体任务、数据和代价一起发布
90% 的合成测试准确率仍只是研究目标,尚未达到;即便达到,也只能说明它在那套模拟分布上有效。更有意义的验收还应包含独立规则材料、未知表达、经审核的多语言样本、关键动作错误,以及相对于基础模型与简单基线的稳定增益。
Codex 能继续完成实验登记、可复现脚本、模型卡、数据卡、许可证与基础模型版本记录。研究版本可以公开负面结果和明确范围;若要宣传行业能力,就要把哪些任务有收益、在哪些条件下失效一并测出来。目前没有足够证据支持行业领先或通用金融专家的表述。
当前能直接复用的是文末的逐题预测与复算脚本,可以检查本文的准确率与概率误差。若下一步开放配对测试,验收方式应是:另一套模型在只改变一个事实的两题中,能否都给出应有答案,而非仅看整包题目的平均分。
不重新训练,也能核对本文的几项结果
本篇开放了指标与配置摘录、两阶段 E5 的合成测试逐题预测,以及标准 Python 复算脚本。只需要 Python 3,无需 GPU 或模型 API 密钥。
这些文件能复算准确率、NLL 与 ECE,并核对预测文件哈希。它们不包含完整训练语料和模型权重,因此属于结果复核材料,尚不足以独立重跑整个训练。公开附件也没有转载 BenchCompass 的参考文档原文。
mkdir -p paydecision-evidence
cd paydecision-evidence
curl -fLO https://jokeuncle.pages.dev/downloads/paydecision-training-retrospective-2026-11-14/evidence.json
curl -fLO https://jokeuncle.pages.dev/downloads/paydecision-training-retrospective-2026-11-14/e5-frozen-predictions.jsonl
curl -fLO https://jokeuncle.pages.dev/downloads/paydecision-training-retrospective-2026-11-14/e5-joint-predictions.jsonl
curl -fLO https://jokeuncle.pages.dev/downloads/paydecision-training-retrospective-2026-11-14/verify-evidence.py
python3 verify-evidence.py
我实际执行复算得到的输出摘录如下;raw 是原始概率,temperature_scaled 是校准后的概率:
e5_frozen raw {"accuracy": 0.45625, "correct": 438, "count": 960, "ece_10_bins": 0.07487606699734493, "nll": 1.2302640580849966}
e5_joint raw {"accuracy": 0.640625, "correct": 615, "count": 960, "ece_10_bins": 0.03050194781096399, "nll": 0.8708030674238718}
e5_joint temperature_scaled {"accuracy": 0.640625, "correct": 615, "count": 960, "ece_10_bins": 0.14508152234371188, "nll": 0.9527929958309654}
v21 {"contracts": 640, "groups": 320, "model_rows": 7680}
原始预测来自固定实验记录,公开附件内保留了文件哈希、基础模型版本、配置与报告摘录。源码机制说明对应研究代码快照 6647c1bc30dc10c1e0d27b38f8f34df94a57a98a,完整源码仓库与权重在本文发布时尚未公开。
恢复之前,先把“练会”和“考过”分开
本轮 E5 和 13 题诊断适配器完成了保存后恢复预测的检查;最后一个正式 Qwen 检查点尚未完成这项验证。现有成绩也没有证明,模型在支付行业的新材料上能稳定胜过简单方法。
反复练习的 13 道题全对,只能说明这些题学会了。真正值得继续投入的信号,是未参与调方案的新题上有稳定收益,并且关键动作错误没有被平均分掩盖。
若恢复项目,我会先做同题、同预算的推理方式对照,再决定该改数据、改评分结构,还是扩大模型。训练目前保持停止。
参考来源
模型与工程资料
- Multilingual E5 Small 固定版本模型卡:表示维度、使用方式与训练背景。
- Qwen3-1.7B 固定版本模型卡:基础模型信息与思考模式。
- BenchCompass 固定代码版本:本次外部 E5 评测使用的公开选择题来源。
- Google Decisions API、TypeSafe Jev 介绍:有限答案与结构化决策的产品背景,本轮没有调用或复现其实现。
- 本文实测证据摘录与基础模型版本:本地报告导出;合成预测文件仅用于结果复核。
论文
- Hu 等,LoRA: Low-Rank Adaptation of Large Language Models:冻结基础参数、学习低秩修正量。
- Guo 等,On Calibration of Modern Neural Networks:概率校准与温度缩放。本文的校准退步是本地实验结果,不是论文报告的结论。
- Wang 等,Multilingual E5 Text Embeddings: A Technical Report:E5 多语言表示学习的技术背景。