交叉熵与压缩成本:一次能解码回去的实验

把 3Blue1Brown 的机器人例子编码成真实比特流,核对 896 与 1344 bit;再用网格实验说明,准确率相同不等于预测同样好,log 的唯一性也有前提。

两套预测都猜对了 50%,为什么其中一套编码后的实际有效码长会多 109 位?

我把 3Blue1Brown 的交叉熵视频里的四方向机器人,做成了一份 512 条指令的合成消息。用不同概率表把它编码成字节,再从字节解回原文,得到这样的结果:

匹配样本频率的预测: 50% 准确率, 896 个有效码位
把概率平方后再归一: 50% 准确率,1005 个有效码位

交叉熵关心的是整张概率表是否合适;只看最可能的答案,会漏掉这种差别。

编解码与损失枚举都放在这个脚本里,只用 Python 标准库;原始输出包含概率、有效位数、字节数与编码内容。这里没有训练神经网络,实验对象是能完全检查的四类别概率表。

先把 bit、概率和 log 连起来

一个 bit 只能是 0 或 1。用两个 bit,可以区分 00、01、10、11 四种情况。因此,四种等可能的指令,用两位表示每一种很自然。

如果指令出现得不一样频繁,就可以让常见指令占更短的编码。视频在 3:02 回顾了这个例子。我采用下面这套合法编码,字母分别代表上、下、左、右:

指令旧环境的概率 Q编码位数
U,上1/201
D,下1/4102
L,左1/81103
R,右1/81113

这套编码的短码都不是其他码的开头,因此可以连续发送,不必额外插入分隔符。例如 010110 可以拆成 0|10|110,还原为上、下、左。

表里还藏着一个规律:概率是 1/2,需要 1 位;概率是 1/4,需要 2 位;概率是 1/8,需要 3 位。

这就是负的二进制对数:

理想位数=−log⁡2q.\text{理想位数}=-\log_2 q.

读法是:把概率取倒数,再问它是 2 的多少次方。1/8 的倒数是 8,而 8 是 2 的三次方,所以得到 3。

一般概率不会这么整齐,单次事件的理想成本也可能不是整数。编码器可以把整段消息统一编码,使总位数接近各次事件理想成本的和;除以消息长度后,才得到平均成本。无需给单条指令写出一截小数位长的字符串。

交叉熵是在新数据上,使用旧概率表的平均成本

视频在 5:20 改变机器人的行动规律。按上、下、左、右的顺序,新概率变成:

P=(1/8, 1/8, 1/4, 1/2).P=(1/8,\ 1/8,\ 1/4,\ 1/2).

现在右移最多,上移反而少了。如果还沿用旧编码,那么每八条指令按新频率计算,平均包含一条上、一条下、两条左、四条右,编码成本就是:

1×1+1×2+2×3+4×38=218=2.625 bit/指令.\frac{1\times1+1\times2+2\times3+4\times3}{8} =\frac{21}{8}=2.625\ \text{bit/指令}.

这些输入概率来自视频,不是为凑实验结果临时挑的数字。

把这笔账写成通用形式,就是交叉熵:

H2(P,Q)=−∑iPilog⁡2Qi.H_2(P,Q)=-\sum_i P_i\log_2 Q_i.

这里固定约定:P 是数据出现的概率,Q 是预测或编码采用的概率。下标 i 遍历四种指令;求和符号的意思是把四笔成本加起来。P 决定某项要付多少次,Q 决定每次的单价。

如果换成适合新概率的编码,让右移用一位、左移用两位、上和下各用三位,平均成本变为:

1×3+1×3+2×2+4×18=148=1.75 bit/指令.\frac{1\times3+1\times3+2\times2+4\times1}{8} =\frac{14}{8}=1.75\ \text{bit/指令}.

这个匹配时的成本叫熵,记作 H2(P)H_2(P),也就是 H2(P,P)H_2(P,P)。旧表每条多花的 2.625−1.75=0.8752.625-1.75=0.875 bit,叫作这两个分布之间的 KL 散度:

DKL,2(P∥Q)=H2(P,Q)−H2(P).D_{\mathrm{KL},2}(P\Vert Q)=H_2(P,Q)-H_2(P).

所以,熵描述匹配时的基准成本,交叉熵描述实际采用 Q 时的成本,KL 描述多付的部分。这里是在不利用指令先后关系的逐符号模型里讨论;允许更丰富的上下文模型后,压缩还可能继续改善。

把 512 条指令真正编码,理论成本与有效位数对上了

我的合成样本由 UDLLRRRR 重复 64 次构成,再用种子 20261114 打乱顺序。脚本实际点数为 U=64、D=64、L=128、R=256,共 512 条,频率恰好等于前面的 P。

固定计数是为了隔离概率表的影响。这四套预测都不读取历史,因此打乱顺序不会改变总损失。它不是用来估计自然语言熵的数据集,也没有检验模型的泛化能力。

编码器从 0 到 1 的区间开始,按 Q 的比例分成四段。每读到一条指令,就保留它对应的那段,再在其中继续分四段。整段消息最终对应一个很小的区间。

所谓二进制小格,就是把 0 到 1 等分成 2n2^n 份后,其中的一份。每格宽 1/2n1/2^n,编号从 0 开始,恰好可以用 n 个 bit 写下。

用旧表编码两条指令 DU,可以手算一遍:先读 D,保留区间 [1/2,3/4)[1/2,3/4);再读 U,保留这段区间的前一半,得到 [1/2,5/8)[1/2,5/8)。方括号表示包含左端点,圆括号表示不包含右端点。

最终区间恰好是把 0 到 1 等分成八份后的第 4 号格,即 [4/8,5/8)[4/8,5/8)。把编号 4 写成三位二进制,就是 100。打包进一个字节时,末尾补五个零,得到 10000000,十六进制写作 80。脚本也实际得到三位有效编码、载荷 80,并成功解回 DU,结果保存在 JSON 的 walkthrough 字段。

一般情况下,程序会不断细分二进制格子,直到某一格完全落在消息的最终区间里。解码器拿到字节、有效位数、消息长度和同一张概率表后,去掉补齐位,取所选小格的中点,反过来逐步定位指令。上例的中点先落在 D 的区间,再落在其内部 U 的区间,因此恢复 DU。

源码中的 encode() 和 decode() 分别完成这两个方向,并断言还原消息与输入逐字相等。有效位数是接口的一部分,不能在统计元信息时省掉。

下面是本次 Python 3.14.6 的实跑结果,保留四位小数:

使用的概率表交叉熵,bit/指令理想总成本实际有效码位字节载荷解码还原
匹配频率 P1.7500896.000 bit896 bit112 byte成功
视频中的旧表 Q2.62501344.000 bit1344 bit168 byte成功
四种指令各 1/42.00001024.000 bit1024 bit128 byte成功
把 P 的各项平方后归一1.95941003.229 bit1005 bit126 byte成功

前三行的概率都能对应整齐的二进制区间,理论成本与有效码位完全相同。最后一行需要选一个能写出的二进制小格,多用了约 1.771 位;1005 个有效位打包到字节里,还要补三位,成为 126 字节。

这里没有把“算出来的 loss”冒充压缩文件:原始 JSON 保存了实际载荷的十六进制表示,解码器读取的是载荷。编码器使用精确分数运算,适合小例子核对,不是面向大文件的高效实现。

计量范围也必须说清:双方预先共享概率表、指令总数和有效位数,表格只统计消息载荷。交叉熵预测的是这种条件下的理想编码成本,完整文件还可能需要模型、词表、长度和格式信息。

同样猜对一半,更自信的预测多花了 109 位

最后一行的概率不是另找一套数据。它由 P 的每项平方,再除以总和得到:

Qsharp=(1,1,4,16)/22.Q_{\mathrm{sharp}}=(1,1,4,16)/22.

匹配频率的表把右移看作 50%;这张更尖锐的表把右移看作约 72.7%。两者每次都把右移列为第一名,因此在这份样本上,都猜对 256/512,也就是 50%。这里的准确率只看概率最大的那项是否命中。

但后一张表把上、下两种实际各占 12.5% 的指令,都压低到了约 4.55%。这些事件真的出现时,编码就要付更高的成本。

实测有效码长从 896 位变成 1005 位,多了 109 位。其中约 107.229 位来自概率不匹配,其余来自最后的编码取整。按打包后的字节数比较,则从 112 字节变为 126 字节,多 14 字节。

这就是准确率没有显示的信息:预测最可能发生什么,与合理分配所有可能性的概率,是两种要求。交叉熵会追究那些被模型轻视、却实际发生的事件。

一条样本只奖励真实 token,很多样本一起约束分布

视频从 14:55 把问题接到语言模型。token 是模型处理文本的基本单位,可能是词,也可能只是词的一部分。给定前文,模型为下一个 token 的所有候选分配概率。

训练时已经知道原文下一项是什么,于是取模型给它的概率,计算负对数。例如真实下一项是“右”,四个目标权重可以写成 (0,0,0,1);前三项权重为零,只剩对“右”的惩罚。这种只有一个位置为 1 的表示叫 one-hot,也称硬标签。

但这不表示现实中下一个词只有一种可能。如果同类前文在数据里对应多种后续,常见后续贡献的损失次数更多,平均起来就是按数据频率加权的交叉熵。单个硬标签与整体学习一个分布,可以同时成立。

语言模型还会随前文改变 Q。用符号写,普通的平均负对数损失是:

L^2=−1N∑t=1Nlog⁡2Q(xt∣x<t).\widehat L_2=-\frac{1}{N}\sum_{t=1}^{N} \log_2 Q(x_t\mid x_{<t}).

xtx_t 是原文第 t 个 token,x<tx_{<t} 是它前面的真实 token,竖线表示“在这段前文已知的条件下”,N 是计入损失的 token 数。这种使用真实前文评估下一项的方法通常称为 teacher forcing。

它是样本上的平均成本,用来估计模型对这类数据的交叉熵。真实条件分布通常未知,也没有足够样本反复覆盖每一种完整前文;神经网络靠共享参数学习相近语境中的规律,是否学到了可推广的规律,还要用未参与训练的数据检验。

压缩时也可以逐步重算 Q:解码器先还原前面的 token,再用相同模型预测下一项的概率。双方仍须共享模型和文本切分方式。本文的四类别实验只验证了固定概率表,没有运行 LLM 压缩器。

把负 log 换成 1-q,会鼓励模型只押最大的一类

视频在 20:38 追问:既然目的都是正确答案概率越高、惩罚越低,为什么偏要用 log?

我用同一份四类别频率做了第二个实验:让 Q 的每个分量以 0.025 为步长变化,只保留非负且总和为 1 的概率表,共枚举 12,341 张。这个网格恰好包含 P,以及把全部概率押在右移上的表。

先比较两种单次惩罚。y 表示本次真实类别,QyQ_y 是模型给它的概率:

log_loss = -math.log2(q_true)
linear_loss = 1 - q_true

两者都会在正确项概率变大时下降,但它们在整份数据上的平均值,最小处不同。脚本输出中的最优 Q,顺序仍是上、下、左、右:

cross_entropy_bits : [0.125, 0.125, 0.25, 0.5]
linear_1_minus_q   : [0.0,   0.0,   0.0,  1.0]
brier_sum_over_classes: [0.125, 0.125, 0.25, 0.5]

先看前两行。平均的线性损失是 1−∑iPiQi1-\sum_i P_iQ_i。因为右移出现最多,把所有概率都给右移,就能让它最小。它会鼓励模型宣称右移百分之百发生,即使样本中只有一半是右移。

对交叉熵,这张极端表会在其他方向实际出现时遭到无限大的惩罚:它给实际事件的概率为零。脚本把这样的候选记为无穷,不会对零直接调用 log。

这说明,损失函数仅仅满足“正确答案概率越高越好”,还不够约束概率预测是否诚实。

Brier 也能找到 P,log 的唯一性有前提

第三行是额外加入的对照:Brier 损失。做法是把预测概率与 one-hot 目标逐项相减、平方,再把所有类别的误差加起来。

如果真实类别是右,目标就是 (0,0,0,1),因此这一题计算:

QU2+QD2+QL2+(QR−1)2.Q_U^2+Q_D^2+Q_L^2+(Q_R-1)^2.

它检查了整张表,既关心给正确类别多少概率,也关心给其他类别多少概率。本次网格实验中,它与交叉熵都只在 P 处取得最小值。

网格只能检查离散候选,不能替代连续范围的数学论证。对 Brier,把上面的平方展开并按 P 平均,可以得到:

平均 Brier=1−∑iPi2+∑i(Qi−Pi)2.\text{平均 Brier} =1-\sum_i P_i^2+\sum_i(Q_i-P_i)^2.

前两项不随 Q 改变,最后一项是平方之和,只有 Q=P 时为零。因此它确实也能鼓励概率与数据分布一致。这类规则通常称为严格适当评分规则:按真实分布报概率,平均得分最好;本文使用的是越小越好的损失写法。Gneiting 与 Raftery 的论文系统讨论了这些规则。

视频中 24:30 附近的唯一性讨论,先限定每次惩罚只通过正确类别的概率 QyQ_y 计算,也就是采用同一个函数 F(Qy)F(Q_y)。这项限制在文献里叫局部性,见 Shao 等论文的第 2.3 节。

这里还有一个容易漏的特例:二分类时,给出一类的概率,另一类就确定了。Brier 因而也能写成 2(1−Qy)22(1-Q_y)^2,只看正确类别的概率,却没有使用 log。到了三个或更多类别,知道正确类的概率,不能确定其他各类的分配。

针对至少三个类别,如果再要求 F 在 0 到 1 之间二次可微、对任意概率均为正的分布 P 都只在 Q=P 时达到最低平均惩罚,那么 F 会被限制为负 log 的正数倍加常数。这是上述局部评分规则的理论结论,本文的有限网格实验没有证明这条定理。

允许损失读取整张概率表后,能够匹配真实分布的选择就不止交叉熵。 Brier 对照没有推翻视频限定条件下的结论,但能防止把它误读成所有损失函数中的唯一选择。

蒸馏改用 KL,固定老师时只差一个常数

视频在 26:13 讲蒸馏,在 31:35 留下问题:比较老师和学生的预测时,为什么不用 KL?

蒸馏这里指让小模型学习大模型的概率输出。硬标签只给一个答案 1,其余给 0;老师可以同时告诉学生,哪些其他答案也合理。把固定老师的输出记为 P,学生输出记为 Q,就仍有:

H2(P,Q)=H2(P)+DKL,2(P∥Q).H_2(P,Q)=H_2(P)+D_{\mathrm{KL},2}(P\Vert Q).

老师固定时,H2(P)H_2(P) 不随学生参数变化。因此,使用相同样本、概率处理方式和加权方式时,最小化交叉熵与最小化这个方向的 KL,对学生的优化只差一个常数。脚本也逐张核对了前面四套概率的这个等式。

方向和条件不能省略:这里是老师在前、学生在后;若老师本身也参与更新,就不能把它的熵当作与全部待优化参数无关的常数。而且,学生学习的是老师的分布,老师未必等于现实中的正确概率。

从 loss 换算成 bit,先统一单位与统计对象

本文一直用二进制对数,所以单位是 bit。机器学习代码常用自然对数,单位叫 nat;换成 bit 要除以 ln⁡2\ln 2。例如本实验的 1.75 bit/指令,对应约 1.213008 nat/指令,不能直接把后一个数字乘消息长度当作比特数。

同样,token 也不等于字节。换一种文本切分方式,平均每 token 的损失会换分母。比较实际文本压缩成本时,除了共享模型和切分方式,还要交代编码开销,必要时统一到每字节成本。关于 log、自然对数与 PPL 的关系,可以接着读这篇入门解释。

概率表同时决定预测与编码成本

预测时只取概率最大的一项,会丢掉其余概率的分配信息;编码却要为每个实际发生的事件支付成本。两张表即使总把同一个答案排第一,也可能产生不同的码长。交叉熵衡量的正是这种按实际事件加权后的概率分配质量。

亲手把 1005 位改回 896 位

有 Python 3 和终端即可复现,无需模型、GPU 或第三方库。下载并阅读脚本后运行:

curl -fLO https://jokeuncle.pages.dev/experiments/cross-entropy-coding-2026-11-15.py
python3 cross-entropy-coding-2026-11-15.py > result.json

原始运行环境是 Python 3.14.6;JSON 记录运行版本、随机种子、消息指纹和全部结果,便于对照。四组编码都必须出现 roundtrip_ok: true,也就是从载荷成功还原了输入。

再花几分钟,把脚本 models 中 squared 对应的 [1,1,4,16] 改为 [1,1,2,4],重新运行。它的最高概率项仍是右移,准确率仍是 50%,但交叉熵应降回 1.75,编码应回到 896 个有效位。这个改动只改变概率的分配,不改变本次最常猜的答案。

参考来源

视频与复现材料

论文