d1.2-ultra 升级的 78% 来自一个评测

Liquid d1.2-ultra 相对 d1-ultra 的总分从 70.58 涨到 74.85。按子指标和权重手算,4.27 分净进步里 3.34 分来自 AA-Paperclip 一项——占 78%。换个权重结构(知识优先),同样的模型会从第一跌到 68 分。

Liquid AI 2026 年 11 月中放出的 d1.2 和 d1.2-ultra 在 Artificial Analysis Decision Index v2.1 上拿了第一名,总分 74.85(上一代 d1-ultra 是 70.58)。Liquid 官方博客的卖点是两条:第一名的总分、以及”接近完美的置信度校准”(calibration error 0.8 points,是对比的五个模型里最低的)。

但是看同一个模型在子指标上的表现会得到另一个故事:在 HLE-MultiChoice(人类终极考试,衡量世界知识难题)上只拿 46.36 分(原始准确率 2.36%,在 24 个决策模型里倒数),AA-Omniscience-Decision 从上一代的 64.39 退步到 60.80。校准第一、总分第一和世界知识倒数,是同一个模型在同一次评测里给出的三个事实。

这篇想用 Python 手算一遍 Decision Index v2.1 的加权总分,看看”第一名”到底是怎么拼出来的,并借这个例子讨论”校准第一”这个口号背后的 ECE 到底意味着什么。

d1 系列是 Liquid AI 的 omnimodal 决策模型,前一代 d1-ultra 在 2026-10-15 发布,d1.2 / d1.2-ultra 在 2026-11-16 发布。Artificial Analysis 的 Decision Index v2.1 是独立评测——面向”从一个有限答案集里做选择”的任务(抽取、调用、决策分叉,而非 open-ended 创作),把六个子指标加权求和。

第一个数字:74.85 是怎么算出来的

Decision Index v2.1 的权重结构(来自 Liquid 官方博客与第三方独立分析 Orca Router):

子指标权重d1.2-ultra 得分
AA-Paperclip30%75.81
EvalSafe-O*NET-AA15%89.53
AA-Omniscience-Decision v1.115%60.80
HLE-MultiChoice v1.115%46.36
AA-Symmetry v1.115%86.34
When2Call10%96.49

手算:

python3 <<'EOF'
scores = {
    "AA-Paperclip":    (75.81, 0.30),
    "EvalSafe-ONET":   (89.53, 0.15),
    "AA-Omniscience":  (60.80, 0.15),
    "HLE-MultiChoice": (46.36, 0.15),
    "AA-Symmetry":     (86.34, 0.15),
    "When2Call":       (96.49, 0.10),
}
total = sum(s * w for s, w in scores.values())
for name, (s, w) in scores.items():
    print(f"{name:<20}{s:>7.2f} x {w:>5.0%} = {s*w:>7.3f}")
print(f"{'TOTAL':<20}{'':>7} {'':>5}   {total:>7.3f}")
EOF

输出:

AA-Paperclip          75.81 x   30% =  22.743
EvalSafe-ONET         89.53 x   15% =  13.429
AA-Omniscience        60.80 x   15% =   9.120
HLE-MultiChoice       46.36 x   15% =   6.954
AA-Symmetry           86.34 x   15% =  12.951
When2Call             96.49 x   10% =   9.649
TOTAL                                   74.846

74.846 和 Orca Router 报告的 74.85 对得上,权重结构和子分数口径一致。这是一个标准的加权求和,没有黑盒。关于最大那一项:AA-Paperclip 是 Artificial Analysis 自己的私有文档决策评测,官方说法是基于 1,500 份内部文档,考模型从文档里抽取和决策的能力——因为私有,外部团队无法针对它训练或调参。When2Call 则测模型”什么时候该调工具、什么时候别调”的判断,HLE-MultiChoice 来自 Humanity’s Last Exam(人类专家出的高难度跨学科问答),AA-Omniscience 偏事实知识,AA-Symmetry 测在等价表述下答案的一致性,EvalSafe-O*NET-AA 是基于劳动统计的职业场景安全性评测。

第二个数字:升级的 78% 来自一个评测

现在把 d1.2-ultra 和上一代 d1-ultra 的两个已知子指标做差分(orcarouter 文章直接给了这两项的对照,其他四项我没拿到 d1-ultra 的拆分):

子指标d1-ultrad1.2-ultra变化权重对总分贡献
AA-Paperclip64.6975.81+11.1230%+3.336
AA-Omniscience64.3960.80−3.5915%−0.539

两个已知项合计贡献 +2.797。实际总分涨幅是 4.27(74.85 − 70.58),所以其余四项(EvalSafe、HLE、Symmetry、When2Call)的加权净变化合力为 +1.47——可能是四项全部小幅进步,也可能是某项退步另两项补回来,公开数据不够判断方向。

关键观察(这部分 orcarouter 的拆解里没算过):Paperclip 一项贡献的 +3.336 分,已经占了总净涨幅 +4.27 的 78.1%。也就是说,哪怕剩下的那 1.47 分完全来自其它子指标的正向改进,Paperclip 这一项仍然是 d1.2 升级里最响的声音;而从已公开的两项看,Omniscience 已经退了 0.54 分,d1.2-ultra 相对 d1-ultra 不是在通用能力上均匀进步的,是在 AA-Paperclip(30% 权重的文档决策任务)上针对性进步的。如果你的工作负载不像 AA-Paperclip(私有文档抽取 + 一致性要求),从这次升级拿到的净收益会显著少于榜单总分暗示的那样。

第三个数字:权重如果换一下

再做两个反事实。

反事实 1:六个子指标等权(每个 1/6):

d1.2-ultra under uniform weights: 75.888

反而比原始权重的 74.85 高一点——因为 When2Call(96.49)这种高分指标在原始方案下只占 10% 权重,拉平后拿到更大份额,被平均拉起来了。

反事实 2:知识优先(HLE 30% + Omniscience 25% + 其他四个均分 45%):

d1.2-ultra under knowledge-heavy: 68.277

比原始的 74.85 跌 6.57 分。d1.2-ultra 的 HLE(46.36)和 Omniscience(60.80)都是六项里较弱的,在”知识优先”方案下占大头后立刻拉下来。我手上没有竞品 Drex Max v1.1(Decision Index v2.1 第二名,总分 72.624)的全套子分,不能在新权重下直接重算排名,但方向明确:原始权重放大了 d1.2-ultra 的 Paperclip 强项,换权重结构后它会退回和同档竞品争 60 分段。

单一榜单的”第一名”实际是子指标得分 × 评审员的权重选择的一次乘法,两个因素任何一个换都会动排名。Decision Index v2.1 的权重选择明确向文档决策和操作任务倾斜——AA-Paperclip 30% + When2Call 10% + Symmetry 15% + EvalSafe 15% 合计 70%,知识类 HLE + Omniscience 合计 30%。Artificial Analysis 的立场是”决策模型是用来做决定的,不是用来回答世界知识难题的”,这个立场合理,但它决定了 d1.2-ultra 的升级在这个榜单上会被放大。

顺带说一句:另一个卖点 calibration 0.8 pts

Liquid 官方博客的第二个响卖点是校准”接近完美”——在 13 个 benchmark、22,505 问题上,d1.2-ultra 的 calibration error 是 0.8 pts,对比的 Jev 1.14 是 2.7、Perplexity Decider v1.3 是 3.7、GPT-6 Luna 是 7.2。校准(calibration)的常见定义是:把模型置信度切成若干 bin,看每个 bin 里”模型说自己有多确定”和”实际正确率”的差值,按样本量加权,就是 Expected Calibration Error(ECE)。数字越小,模型越”自知”。

但 pts 的具体口径 Liquid 没公开——我查过页面,没找到对”pts”是 ECE × 100、相对误差、还是别的加权方式的定义。按 ECE × 100 猜测,0.8 pts 和 Guo 等人 2017 On Calibration of Modern Neural Networks 报告的”温度缩放后最好水平”(1–3 pts)持平,略好。但 ECE 本身有已知坑:bin 选择敏感(等宽 vs adaptive 能差一个数量级,见 Nixon 等 2019 Measuring Calibration in Deep Learning);只测边际校准,子群过自信看不出来;和 accuracy 没强耦合(闭着眼睛说”50%“也能很”校准”)。

所以这个 0.8 pts 和前面 Paperclip 的 30% 权重放一起看,恰好是一对相似的故事:一个厂家响亮的卖点数字背后,都藏着一个”评测配置”的小字。Paperclip 的小字是”30% 权重 + 私有文档”,calibration 的小字是”未公开的 bin 方案 + 未报告的 subgroup 分解”。从《LLM 评测的十一种方法:参考值到底从哪来》的角度看,这都是”参考值错位”的典型例子。

选决策模型时,比”总分第一”更有用的问题

我的工作负载在 Decision Index 的六个子指标里更像哪一个?如果像 AA-Paperclip(文档抽取 + 一致性),买 d1.2-ultra 的升级大概率值;如果像 HLE / Omniscience(事实知识 + 复杂推理),这笔升级在你场景里的净收益可能是负的。另一个可动手的检查:拿自己真实业务里的 50–100 条样本跑一次 d1.2-ultra 和 d1-ultra 的对比,看 win-rate 是不是也接近榜单暗示的 +4.27 分方向——我没买 Liquid 的 API 没测过,这是留给读到这里的你的 shadow test。

参考来源

官方与第三方评测

Calibration 文献

站内相关