两套预测都猜对了 50%,为什么其中一套编码后的实际有效码长会多 109 位?
我把 3Blue1Brown 的交叉熵视频里的四方向机器人,做成了一份 512 条指令的合成消息。用不同概率表把它编码成字节,再从字节解回原文,得到这样的结果:
匹配样本频率的预测: 50% 准确率, 896 个有效码位
把概率平方后再归一: 50% 准确率,1005 个有效码位
交叉熵关心的是整张概率表是否合适;只看最可能的答案,会漏掉这种差别。
编解码与损失枚举都放在这个脚本里,只用 Python 标准库;原始输出包含概率、有效位数、字节数与编码内容。这里没有训练神经网络,实验对象是能完全检查的四类别概率表。
先把 bit、概率和 log 连起来
一个 bit 只能是 0 或 1。用两个 bit,可以区分 00、01、10、11 四种情况。因此,四种等可能的指令,用两位表示每一种很自然。
如果指令出现得不一样频繁,就可以让常见指令占更短的编码。视频在 3:02 回顾了这个例子。我采用下面这套合法编码,字母分别代表上、下、左、右:
| 指令 | 旧环境的概率 Q | 编码 | 位数 |
|---|---|---|---|
| U,上 | 1/2 | 0 | 1 |
| D,下 | 1/4 | 10 | 2 |
| L,左 | 1/8 | 110 | 3 |
| R,右 | 1/8 | 111 | 3 |
这套编码的短码都不是其他码的开头,因此可以连续发送,不必额外插入分隔符。例如 010110 可以拆成 0|10|110,还原为上、下、左。
表里还藏着一个规律:概率是 1/2,需要 1 位;概率是 1/4,需要 2 位;概率是 1/8,需要 3 位。
这就是负的二进制对数:
读法是:把概率取倒数,再问它是 2 的多少次方。1/8 的倒数是 8,而 8 是 2 的三次方,所以得到 3。
一般概率不会这么整齐,单次事件的理想成本也可能不是整数。编码器可以把整段消息统一编码,使总位数接近各次事件理想成本的和;除以消息长度后,才得到平均成本。无需给单条指令写出一截小数位长的字符串。
交叉熵是在新数据上,使用旧概率表的平均成本
视频在 5:20 改变机器人的行动规律。按上、下、左、右的顺序,新概率变成:
现在右移最多,上移反而少了。如果还沿用旧编码,那么每八条指令按新频率计算,平均包含一条上、一条下、两条左、四条右,编码成本就是:
这些输入概率来自视频,不是为凑实验结果临时挑的数字。
把这笔账写成通用形式,就是交叉熵:
这里固定约定:P 是数据出现的概率,Q 是预测或编码采用的概率。下标 i 遍历四种指令;求和符号的意思是把四笔成本加起来。P 决定某项要付多少次,Q 决定每次的单价。
如果换成适合新概率的编码,让右移用一位、左移用两位、上和下各用三位,平均成本变为:
这个匹配时的成本叫熵,记作 ,也就是 。旧表每条多花的 bit,叫作这两个分布之间的 KL 散度:
所以,熵描述匹配时的基准成本,交叉熵描述实际采用 Q 时的成本,KL 描述多付的部分。这里是在不利用指令先后关系的逐符号模型里讨论;允许更丰富的上下文模型后,压缩还可能继续改善。
把 512 条指令真正编码,理论成本与有效位数对上了
我的合成样本由 UDLLRRRR 重复 64 次构成,再用种子 20261114 打乱顺序。脚本实际点数为 U=64、D=64、L=128、R=256,共 512 条,频率恰好等于前面的 P。
固定计数是为了隔离概率表的影响。这四套预测都不读取历史,因此打乱顺序不会改变总损失。它不是用来估计自然语言熵的数据集,也没有检验模型的泛化能力。
编码器从 0 到 1 的区间开始,按 Q 的比例分成四段。每读到一条指令,就保留它对应的那段,再在其中继续分四段。整段消息最终对应一个很小的区间。
所谓二进制小格,就是把 0 到 1 等分成 份后,其中的一份。每格宽 ,编号从 0 开始,恰好可以用 n 个 bit 写下。
用旧表编码两条指令 DU,可以手算一遍:先读 D,保留区间 ;再读 U,保留这段区间的前一半,得到 。方括号表示包含左端点,圆括号表示不包含右端点。
最终区间恰好是把 0 到 1 等分成八份后的第 4 号格,即 。把编号 4 写成三位二进制,就是 100。打包进一个字节时,末尾补五个零,得到 10000000,十六进制写作 80。脚本也实际得到三位有效编码、载荷 80,并成功解回 DU,结果保存在 JSON 的 walkthrough 字段。
一般情况下,程序会不断细分二进制格子,直到某一格完全落在消息的最终区间里。解码器拿到字节、有效位数、消息长度和同一张概率表后,去掉补齐位,取所选小格的中点,反过来逐步定位指令。上例的中点先落在 D 的区间,再落在其内部 U 的区间,因此恢复 DU。
源码中的 encode() 和 decode() 分别完成这两个方向,并断言还原消息与输入逐字相等。有效位数是接口的一部分,不能在统计元信息时省掉。
下面是本次 Python 3.14.6 的实跑结果,保留四位小数:
| 使用的概率表 | 交叉熵,bit/指令 | 理想总成本 | 实际有效码位 | 字节载荷 | 解码还原 |
|---|---|---|---|---|---|
| 匹配频率 P | 1.7500 | 896.000 bit | 896 bit | 112 byte | 成功 |
| 视频中的旧表 Q | 2.6250 | 1344.000 bit | 1344 bit | 168 byte | 成功 |
| 四种指令各 1/4 | 2.0000 | 1024.000 bit | 1024 bit | 128 byte | 成功 |
| 把 P 的各项平方后归一 | 1.9594 | 1003.229 bit | 1005 bit | 126 byte | 成功 |
前三行的概率都能对应整齐的二进制区间,理论成本与有效码位完全相同。最后一行需要选一个能写出的二进制小格,多用了约 1.771 位;1005 个有效位打包到字节里,还要补三位,成为 126 字节。
这里没有把“算出来的 loss”冒充压缩文件:原始 JSON 保存了实际载荷的十六进制表示,解码器读取的是载荷。编码器使用精确分数运算,适合小例子核对,不是面向大文件的高效实现。
计量范围也必须说清:双方预先共享概率表、指令总数和有效位数,表格只统计消息载荷。交叉熵预测的是这种条件下的理想编码成本,完整文件还可能需要模型、词表、长度和格式信息。
同样猜对一半,更自信的预测多花了 109 位
最后一行的概率不是另找一套数据。它由 P 的每项平方,再除以总和得到:
匹配频率的表把右移看作 50%;这张更尖锐的表把右移看作约 72.7%。两者每次都把右移列为第一名,因此在这份样本上,都猜对 256/512,也就是 50%。这里的准确率只看概率最大的那项是否命中。
但后一张表把上、下两种实际各占 12.5% 的指令,都压低到了约 4.55%。这些事件真的出现时,编码就要付更高的成本。
实测有效码长从 896 位变成 1005 位,多了 109 位。其中约 107.229 位来自概率不匹配,其余来自最后的编码取整。按打包后的字节数比较,则从 112 字节变为 126 字节,多 14 字节。
这就是准确率没有显示的信息:预测最可能发生什么,与合理分配所有可能性的概率,是两种要求。交叉熵会追究那些被模型轻视、却实际发生的事件。
一条样本只奖励真实 token,很多样本一起约束分布
视频从 14:55 把问题接到语言模型。token 是模型处理文本的基本单位,可能是词,也可能只是词的一部分。给定前文,模型为下一个 token 的所有候选分配概率。
训练时已经知道原文下一项是什么,于是取模型给它的概率,计算负对数。例如真实下一项是“右”,四个目标权重可以写成 (0,0,0,1);前三项权重为零,只剩对“右”的惩罚。这种只有一个位置为 1 的表示叫 one-hot,也称硬标签。
但这不表示现实中下一个词只有一种可能。如果同类前文在数据里对应多种后续,常见后续贡献的损失次数更多,平均起来就是按数据频率加权的交叉熵。单个硬标签与整体学习一个分布,可以同时成立。
语言模型还会随前文改变 Q。用符号写,普通的平均负对数损失是:
是原文第 t 个 token, 是它前面的真实 token,竖线表示“在这段前文已知的条件下”,N 是计入损失的 token 数。这种使用真实前文评估下一项的方法通常称为 teacher forcing。
它是样本上的平均成本,用来估计模型对这类数据的交叉熵。真实条件分布通常未知,也没有足够样本反复覆盖每一种完整前文;神经网络靠共享参数学习相近语境中的规律,是否学到了可推广的规律,还要用未参与训练的数据检验。
压缩时也可以逐步重算 Q:解码器先还原前面的 token,再用相同模型预测下一项的概率。双方仍须共享模型和文本切分方式。本文的四类别实验只验证了固定概率表,没有运行 LLM 压缩器。
把负 log 换成 1-q,会鼓励模型只押最大的一类
视频在 20:38 追问:既然目的都是正确答案概率越高、惩罚越低,为什么偏要用 log?
我用同一份四类别频率做了第二个实验:让 Q 的每个分量以 0.025 为步长变化,只保留非负且总和为 1 的概率表,共枚举 12,341 张。这个网格恰好包含 P,以及把全部概率押在右移上的表。
先比较两种单次惩罚。y 表示本次真实类别, 是模型给它的概率:
log_loss = -math.log2(q_true)
linear_loss = 1 - q_true
两者都会在正确项概率变大时下降,但它们在整份数据上的平均值,最小处不同。脚本输出中的最优 Q,顺序仍是上、下、左、右:
cross_entropy_bits : [0.125, 0.125, 0.25, 0.5]
linear_1_minus_q : [0.0, 0.0, 0.0, 1.0]
brier_sum_over_classes: [0.125, 0.125, 0.25, 0.5]
先看前两行。平均的线性损失是 。因为右移出现最多,把所有概率都给右移,就能让它最小。它会鼓励模型宣称右移百分之百发生,即使样本中只有一半是右移。
对交叉熵,这张极端表会在其他方向实际出现时遭到无限大的惩罚:它给实际事件的概率为零。脚本把这样的候选记为无穷,不会对零直接调用 log。
这说明,损失函数仅仅满足“正确答案概率越高越好”,还不够约束概率预测是否诚实。
Brier 也能找到 P,log 的唯一性有前提
第三行是额外加入的对照:Brier 损失。做法是把预测概率与 one-hot 目标逐项相减、平方,再把所有类别的误差加起来。
如果真实类别是右,目标就是 (0,0,0,1),因此这一题计算:
它检查了整张表,既关心给正确类别多少概率,也关心给其他类别多少概率。本次网格实验中,它与交叉熵都只在 P 处取得最小值。
网格只能检查离散候选,不能替代连续范围的数学论证。对 Brier,把上面的平方展开并按 P 平均,可以得到:
前两项不随 Q 改变,最后一项是平方之和,只有 Q=P 时为零。因此它确实也能鼓励概率与数据分布一致。这类规则通常称为严格适当评分规则:按真实分布报概率,平均得分最好;本文使用的是越小越好的损失写法。Gneiting 与 Raftery 的论文系统讨论了这些规则。
视频中 24:30 附近的唯一性讨论,先限定每次惩罚只通过正确类别的概率 计算,也就是采用同一个函数 。这项限制在文献里叫局部性,见 Shao 等论文的第 2.3 节。
这里还有一个容易漏的特例:二分类时,给出一类的概率,另一类就确定了。Brier 因而也能写成 ,只看正确类别的概率,却没有使用 log。到了三个或更多类别,知道正确类的概率,不能确定其他各类的分配。
针对至少三个类别,如果再要求 F 在 0 到 1 之间二次可微、对任意概率均为正的分布 P 都只在 Q=P 时达到最低平均惩罚,那么 F 会被限制为负 log 的正数倍加常数。这是上述局部评分规则的理论结论,本文的有限网格实验没有证明这条定理。
允许损失读取整张概率表后,能够匹配真实分布的选择就不止交叉熵。 Brier 对照没有推翻视频限定条件下的结论,但能防止把它误读成所有损失函数中的唯一选择。
蒸馏改用 KL,固定老师时只差一个常数
视频在 26:13 讲蒸馏,在 31:35 留下问题:比较老师和学生的预测时,为什么不用 KL?
蒸馏这里指让小模型学习大模型的概率输出。硬标签只给一个答案 1,其余给 0;老师可以同时告诉学生,哪些其他答案也合理。把固定老师的输出记为 P,学生输出记为 Q,就仍有:
老师固定时, 不随学生参数变化。因此,使用相同样本、概率处理方式和加权方式时,最小化交叉熵与最小化这个方向的 KL,对学生的优化只差一个常数。脚本也逐张核对了前面四套概率的这个等式。
方向和条件不能省略:这里是老师在前、学生在后;若老师本身也参与更新,就不能把它的熵当作与全部待优化参数无关的常数。而且,学生学习的是老师的分布,老师未必等于现实中的正确概率。
从 loss 换算成 bit,先统一单位与统计对象
本文一直用二进制对数,所以单位是 bit。机器学习代码常用自然对数,单位叫 nat;换成 bit 要除以 。例如本实验的 1.75 bit/指令,对应约 1.213008 nat/指令,不能直接把后一个数字乘消息长度当作比特数。
同样,token 也不等于字节。换一种文本切分方式,平均每 token 的损失会换分母。比较实际文本压缩成本时,除了共享模型和切分方式,还要交代编码开销,必要时统一到每字节成本。关于 log、自然对数与 PPL 的关系,可以接着读这篇入门解释。
概率表同时决定预测与编码成本
预测时只取概率最大的一项,会丢掉其余概率的分配信息;编码却要为每个实际发生的事件支付成本。两张表即使总把同一个答案排第一,也可能产生不同的码长。交叉熵衡量的正是这种按实际事件加权后的概率分配质量。
亲手把 1005 位改回 896 位
有 Python 3 和终端即可复现,无需模型、GPU 或第三方库。下载并阅读脚本后运行:
curl -fLO https://jokeuncle.pages.dev/experiments/cross-entropy-coding-2026-11-15.py
python3 cross-entropy-coding-2026-11-15.py > result.json
原始运行环境是 Python 3.14.6;JSON 记录运行版本、随机种子、消息指纹和全部结果,便于对照。四组编码都必须出现 roundtrip_ok: true,也就是从载荷成功还原了输入。
再花几分钟,把脚本 models 中 squared 对应的 [1,1,4,16] 改为 [1,1,2,4],重新运行。它的最高概率项仍是右移,准确率仍是 50%,但交叉熵应降回 1.75,编码应回到 896 个有效位。这个改动只改变概率的分配,不改变本次最常猜的答案。
参考来源
视频与复现材料
- 3Blue1Brown:But what is cross-entropy? | Compression is Intelligence Part 2,2026 年 7 月发布,依据英文字幕核对。
- 本文的 Python 实验脚本与原始 JSON 输出。
论文
- Gneiting、Raftery:Strictly Proper Scoring Rules, Prediction, and Estimation,JASA,2007。
- Shao 等:Language Generation with Strictly Proper Scoring Rules,ICML 2024,重点参照第 2.3、2.4 与 3.2 节。