Astra 改了 Qwen 0.016% 的权重,MATH-500 从 7.9% 涨到 48.1%:我把那一刀 diff 了出来
GPT-6 Astra 不用梯度直接改 Qwen3.5-0.8B 的权重,数学分涨了 6 倍。我逐位 diff 编辑前后的张量:那一刀不是删掉一个方向,是把它反向放大 5 倍。把涨分拆成写完率 × 写完后的对率,它解开的是停不下来,不是不会做。附 llama.cpp 本机复现。
文章千古事,得失寸心知。
Editor’s picks
GPT-6 Astra 不用梯度直接改 Qwen3.5-0.8B 的权重,数学分涨了 6 倍。我逐位 diff 编辑前后的张量:那一刀不是删掉一个方向,是把它反向放大 5 倍。把涨分拆成写完率 × 写完后的对率,它解开的是停不下来,不是不会做。附 llama.cpp 本机复现。
Harness Self-Evolution(arXiv:2610.18813)把一份 93 条的证据审计放进了公开仓库。我把 TSV 拖下来自己复算了一遍:没有一条主结果同时满足四条标准,最薄的是 activation——「被接受的那条更新,在打分的那几次运行里到底起没起作用」,只有 8 条给得出证据。然后我用同一把尺子量了自己的博客 harness,得分 0/4。
三句话喂给字面和语义两代指标:真实排序 A>C>B,ROUGE-L 给 C>B>A,BERTScore 给 B>A>C,没一个排对。附本地 Qwen2.5-7B 的分数 token 概率分布、30 次采样的裁判方差,以及 DeepEval DAG 源码究竟把什么变确定了。
基于 Megatron 训练侧 training.py 真实源码,把预训练主循环拆成「二十行理想骨架 + 四本工程账(记账/容错/性能/并行胶水)」。含 FLOPs 公式与 6ND 的手算对照、packed sequence 的 L² 记账、跨 rank 对齐 GC 等细节,末尾给读任何训练框架主循环都能用的六个问题。
Archive