把 13K 参数的 MNIST 全连接网络,和今天 1T 参数的 LLM 摆在一起,它们共用的那套”血肉”是什么?3Blue1Brown 的第一课 But what is a neural network? 录于 2017 年 10 月,18 分 40 秒,讲的就是这件事。到 2026 年,Transformer 早把全连接 + sigmoid 甩在身后,但这节课仍然值得看——它是整条 LLM 路径上最靠底的地基。这篇是我自己的消化笔记:把骨架抽出来钉稳,用 2026 年的滤镜标注哪些带走、哪些放下、哪一处”童话”必须戳破。定位是陪读笔记,不是深度文,正文都是视频可核对内容加少量公开论文的佐证。
整节课的骨架
MNIST 手写数字识别,一个最朴素的前馈网络:
- 输入层:784 个神经元(28×28 像素,激活值 = 灰度 0~1)
- 隐藏层:2 层 × 16 神经元(视频里 arbitrary 选的,纯粹为了画面)
- 输出层:10 个神经元(对应数字 0~9,哪个最亮就是预测)
全网约 13,000 个参数(权重 + 偏置)。所有的”智能”——如果还能叫智能——就藏在这 13K 个数字里。视频真正花时间讲清的是四件事:神经元是什么、一个神经元在算什么、分层为什么合理、矩阵表达为什么要存在。
四件要钉稳的事
1. 神经元是一个函数,不是一个灯泡
视频开头为了门外汉友好,说”神经元 = 持 0~1 之间一个数字的东西”。但 3B1B 自己在结尾打了补丁:
Each neuron is a function, one that takes in the outputs of all the neurons in the previous layer and spits out a number between zero and one.
一行就把世界观换掉。整个神经网络从此是一个巨大的、嵌套的、可微的函数——今天写 PyTorch 的 nn.Module,每个 forward() 就是在显式写这个函数。没这条世界观,任何现代框架都只能当 API 背。
2. 一个神经元就是 σ(w·x + b)
下一层某个神经元的激活值 = σ(加权和 + 偏置)。视频把它拆成三件小事:
- 权重 w:决定神经元”关心像素的哪种组合”。3B1B 用绿/红格子可视化——正权重放关心区域、负权重放周围,就是一个”该区域是否有边缘”的朴素探测器。
- 偏置 b:决定”加权和要多大,神经元才开始点亮”,等效于把阈值 shift。
- σ 非线性:把实数挤到 [0,1]。视频用 sigmoid(logistic),灵感来自”神经元激活/不激活”的生物类比。
σ(w·x + b) 这套结构,从 MNIST 到 GPT-4 从没变过。变的只是 σ 的身份和 x 的来源。
3. 分层 = 函数复合,不是魔法
为什么分层?视频给了一个很朴素的愿景:第二层希望检测小边缘;第三层把边缘组装成小环、长竖线;输出层把子部件组装成数字。这种”抽象层级”的直觉在数学上有背书——Cybenko 1989 的通用逼近定理告诉你一层够宽的 sigmoid 网络可以逼近任何连续函数,工程上则是”深窄”比”浅宽”好训练太多。
但请记住 3B1B 自己埋的伏笔:
Whether or not this is what our final network actually does is another question.
下面”必须戳破的童话”一节会收这个尾。
4. 矩阵表达不是炫技,是让 GPU 吃饱
视频倒数第三段给出了这个方程:
激活打包成列向量,权重打包成矩阵(每一行是下一层某个神经元的所有入权重),偏置是另一个向量,σ 对向量逐分量作用。3B1B 原话:“许多库对矩阵乘法做了极度优化。” 这是整节课最被低估的工程细节。今天 H100 显卡能跑万亿参数模型,根子就在这里——把神经元的工作全部翻译成矩阵乘法后,硬件优化的红利才吃得到。从 PyTorch 的 torch.matmul,到 CUDA 的 cuBLAS,到 TPU 的 MXU 单元,整个 AI 硬件栈都围着”矩阵乘 + 逐分量非线性”这个模式转。
必须戳破的童话:中间层并不”检测边缘”
视频最诱人的画面,是第二层检测边缘、第三层检测环、输出层组装数字的层级想象。它直觉上合理,教学上好用,但它不是真实网络训练出来的样子。
3B1B 这节课没兑现这个伏笔(放到了后续章节)。2026 年的我们已经知道答案:
- 真实训练出来的 MNIST 网络,中间层权重可视化出来基本是一团噪声,并没有干净的边缘探测器。梯度下降没有理由产生人类可读的中间表征——它只需要产生能降低 loss 的任何表征。
- Chris Olah 和同事在 Distill 的 Circuits 线程(2020~2021)上花了几年时间,才在 InceptionV1 这类视觉网络上找到可解释的曲线/边缘探测神经元。这反过来证明:默认情况下中间表征的可解释性很弱。
- 到 LLM 时代,Anthropic 的 Toy Models of Superposition(Elhage et al. 2022)进一步说明:一个神经元往往对应多个不同概念叠加在同一个方向上(superposition),一个神经元 = 一个特征的直觉是错的。这条脉络我在《模型里没有一格存着「巴黎」》里展开过。
所以第一课里那组”边缘/环/数字”要当成教学意图,不是训练结果。它告诉你分层有潜力表达层级抽象,但不告诉你训练后真会学到层级抽象。
2026 年要放下的几处细节
视频片尾 3B1B 请来 Lisha Lee 做了个两分钟彩蛋,正好点到第一个时代更替:
σ 挤压函数:sigmoid → ReLU → GELU/SwiGLU
sigmoid 是老派选择,灵感来自”神经元激活/不激活”的生物类比。现代网络基本不用 sigmoid,改用 ReLU = max(0, a)。原因很工程:sigmoid 让深网络训练困难,ReLU 刚好 work。
这是视频里唯一一处明确标注”过时”的地方。更完整的时间线:
- 2010:Nair & Hinton,Rectified Linear Units Improve Restricted Boltzmann Machines,ReLU 进入主流。
- 2012:AlexNet 用 ReLU 在 ImageNet 夺冠,sigmoid 在深网络里基本被判死刑。sigmoid 在深层的致命伤是梯度消失:σ 的导数峰值只有 0.25,层数一深乘下来就归零。
- 2016~2020:GELU(BERT 用)、Swish 等平滑版本取代 ReLU。
- 2020 至今:LLaMA、Qwen、DeepSeek 等主流开源 LLM 的 FFN 用 SwiGLU(见 Shazeer GLU Variants Improve Transformer, 2020)——已经不是单一激活函数,而是”门控 + 激活”的组合。
架构:全连接 → 卷积 → Transformer
视频里”全连接 + MNIST”的组合在今天:图像任务早被 CNN / ViT 取代;序列任务从全连接走到 RNN/LSTM 再到 Transformer;LLM 里全连接层仍存在,但只占 Transformer block 的 FFN 子层,大部分”长距离依赖”交给了 Attention。
规模:13K 参数 → 70B~1T 参数
七到八个数量级的差距。但基本单元没变——1T 参数的模型里,每个 Transformer block 仍然是「Linear → 非线性 → Linear」,每个 Linear 仍然是 W·x + b 的矩阵乘加偏置。这也是”复杂度全藏在堆叠和规模里,基本单元朴素到近乎简陋”这件事的来源。
数据:MNIST 60K 样本 → 整个互联网 + 合成数据
视频没细讲数据(第一课只讲结构),但这也是重要时代差。MNIST 是手工标注的”(图像 → 数字)“配对;今天 LLM 的数据是整个互联网的 token 序列,并逐渐加入了合成数据和模型自我反馈。
带走
对我自己走”门外汉 → LLM 工程应用专家”这条路来说,这节课钉死了三条直觉:别把网络当黑盒(权重是可解释性的起点,从这里到 Olah/Anthropic 的 circuits 工作只隔一个 superposition 的概念升级);记住 a^(l+1) = σ(W·a^(l) + b) 这一行方程,读任何现代模型的 forward() 都不会迷路——无非是 σ 换成 SwiGLU、W 换成 Attention 产生的动态矩阵、层数从 2 变成 80 多;13K → 1T 是八个数量级,基本单元是同一套,所以 Scaling Law 不是神秘的”大力出奇迹”,是”同一把锤子敲出了更多的面积”。
延伸三处:视频里 sigmoid 的精确绘制和性质速查表在《经典数学函数图鉴》;从矩阵乘法看 Attention 如何从 σ(W·x + b) 的骨架长出来,看《初中数学读懂 Attention Is All You Need》;深度学习历史上为什么能”学”起来、学到的东西怎么存,看《模型里没有一格存着「巴黎」》。
参考
- 3Blue1Brown, But what is a neural network? | Deep learning chapter 1, 2017
- Michael Nielsen, Neural Networks and Deep Learning(视频描述里推荐的配套书,免费可读)
- Cybenko, G. (1989). Approximation by Superpositions of a Sigmoidal Function — 通用逼近定理原始论文
- Nair, V., & Hinton, G. E. (2010). Rectified Linear Units Improve Restricted Boltzmann Machines
- Shazeer, N. (2020). GLU Variants Improve Transformer
- Olah, C. et al. Circuits thread on Distill
- Elhage, N. et al. (2022). Toy Models of Superposition