#Pretraining

Lilian Weng 新文深读：Scaling Law 不是物理定律，是一次高杠杆的赌注

《Scaling Laws, Carefully》深度消化：为什么深度学习最著名的"定律"，两篇奠基论文能得出相反的结论（Kaplan 的 0.73 vs Chinchilla 的 0.5）；为什么 Chinchilla 自己也有一个求和写成平均的拟合 bug；以及当"数据无限"假设过期之后，scaling law 正在被改写成什么形状。