返回全部博客

#AI

193 篇相关记录 · 第 2 / 9 页

两个模型之间只差一个旋转：把「隐藏状态直连」拆到根本

本机实测：Qwen2.5-7B 读进一个 token 比写出一个便宜 26 倍，而它每个 token 的 KV cache 有 56 KiB，吐出的那个 token 只有 2.15 字节。这两个数字就是「让模型跳过文本、直接传隐藏状态」的全部动机。本文把这条路拆到根本：为什么表示空间的坐标系是任意的、为什么两个独立训练的模型之间的映射恰好是一个正交变换（附本机 Procrustes 实验：d 维旋转需要且只需要 d 对锚点）、桥能装在哪三个位置、以及连续通道会把人名和数字弄丢这个真实代价。顺带核实了 Mostik 那条 GLM→Qwen 新闻里哪几句站得住。

AILLMAI Infra论文深读系统设计

把"判断"从模型手里再拿走一次：2026 年前沿在 Harness 上玩出的三条物理化战线

从 Anthropic 用 Dynamic Workflows 把 Bun 从 53 万行 Zig 重写成 75 万行 Rust（11 天、64 个 Agent 并行、$165,000）说起，拆解 2026 年下半年前沿 harness 玩法收敛到的三条战线：控制流从模型决定变成脚本决定（Claude Code Dynamic Workflows / LangGraph / CrewAI）、隔离从约定变成文件系统原语（Cursor、Codex 生态的 worktrunk/oh-my-codex、Zed、Grok Build 各自的取舍）、验证从自评变成角色对立的对抗式复核（Bun 的三角色分工、Qodo 与 Greptile 的多 Agent 复核产品化）。每条战线都附一张可核实的代表产品表。这是《什么才是好的 Harness》一文半年后的实践坐实。

AILLMAgentAgent 工程工程实践

交付门禁 vs 评测系统：一对被反复混淆的角色，和一条「传感器/执行器」定律

业界经常把「大模型评测系统」和「大模型交付门禁」当成一回事，结果就是评测跑通了却拦不住线上翻车，或者门禁很严却测不到关键翻车方式。本文把两者按角色分开：评测系统是传感器（持续量），交付门禁是执行器（一次决策）。用五篇 2026 年的 arXiv 论文（Automated Self-Testing 2603.15676、LLM Readiness Harness 2603.27355、Test Before You Deploy 2604.27789、Predicting LLM Safety Before Release 2607.07184、含 HELM 2211.09110 的坐标系）+ Google SRE 错误预算+决策地图系列前作，给出七维度对照表、四种失配病理、以及一条把两者接起来的「传感器/执行器阻抗匹配」定律。

AILLM评测门禁AI Infra论文深读

约束解码深读：把 mask 做到零开销之前，我们跨过了四道坎

沿一条主线拆 constrained decoding / grammar-based sampling：所有算法都在实现同一个「可延伸性 oracle」，四代论文（Outlines / DOMINO / XGrammar / SGLang / GAD）各推进一关——token-字符错位、mask 成本、确定性片段的浪费、分布扭曲。附伪代码骨架、亲手实测 96.4% 的确定性 token 占比、以及一个手算完的分布扭曲例子。

AILLMAI InfraLLM Serving论文深读

Hermes 4 深读：一个把「拒绝率」当成产品规格来打的开源模型

Nous Research 的 Hermes 4 在自家 RefusalBench 上打 57.1，同一张表 GPT-4o 17.67、Sonnet 4 是 17、GPT-5 是 11.34——这不是能力差，是产品哲学差。本文按 arXiv 2508.18255 技术报告逐节拆：base model 拼装（405B/70B 是 Llama 3.1、14B 是 Qwen3）、DataForge 图式合成数据、Atropos 千验证器拒绝采样、30K token 强制截断这一手漂亮的 length control、192 张 B200 训一次要多少钱。结尾接回昨天那篇 OpenRouter：Hermes 4 405B 全网只 1 家 provider——「意见型微调」不进入商品市场。

AILLMAI Infra论文深读模型训练

深读 OpenRouter：它不是一个聪明路由器，是一个开源模型推理的现货市场

同一个 Llama 3.3 70B，OpenRouter 上挂着 13 家供应方，prompt 报价差 10.4×、量化精度混着 fp8/bf16/fp16。这不是路由问题，是市场问题。本文用亲手跑的 API 数据 + 7 篇 arXiv 论文把 OpenRouter 拆到根本约束：开源权重让推理商品化，边际买家要的是发现与切换、不是智能。围绕这条主线看 provider preference（拍卖）、Auto Router（Hayek 价格系统聚合）、BYOK 5% 抽成、per-provider sticky 缓存怎么各自落成市场机制，以及在闭源模型面前先崩在哪里。

AILLMAI Infra论文深读系统设计

RouteLLM 深读：把「谁来做这题」压缩成一个胜率，就是所有 LLM 路由的钥匙

RouteLLM 论文最漂亮的一个数字：只需 14% 的 GPT-4 调用就能保住 95% 的 GPT-4 质量。这个数字背后是一整套可测量、可校准的路由体系。本文从「胜率预测」这条主线拆解四种路由器的算法差异、Chatbot Arena 偏好数据的稀疏性处理、PGR/APGR/CPT 三个校准指标，以及一次 completion 请求进入 openai_server 到最终转发给 strong/weak backend 的完整调用链。

AILLM论文深读LLM Serving系统设计

别再把 harness 当实现细节：2026 年它被扶正成了一个必须申报的变量

ALFWorld 上一个 3B 模型配好 harness（69.7）打赢 7B 配差 harness（55.6），差 14.1 分；更狠的是这个便宜不能事后补——训完再换好 harness 只能拿回一小部分。2026 年 harness 研究的真正进展不是「又发现脚手架很重要」，而是把它从实验里看不见的常量提成了变量。变量化炸开四条战线：测量（harness 方差是模型方差的 7.80 倍、9 组对比 6 组名次翻转）、自动搜索（AHE 69.7→77.0）、训练（harness 是训练分布的一部分）、以及两个必须承认的刹车。附一张可填的 Harness Card 和一个约 19 美元的亲手验证实验。

AILLMAgentAgent 工程论文深读评测

会话内 RSI 深读：Agent 把哪个对象定义成可变的，决定它变强还是变废

ACE 论文的 AppWorld 日志里有一处最该被记住的数字：第 60 步上下文 18,282 token、准确率 66.7；第 61 步模型重写了一次自己的经验手册，上下文只剩 122 token，准确率掉到 57.1——比完全不自我改进的 63.7 还低。不重载、不动权重、人不介入的自我提升不是一个开关，它有三个决定生死的设计选择：可变对象的粒度、写入权归谁、验证信号从哪来。这篇结合 ACE、ReasoningBank、Gödel Agent、Darwin Gödel Machine、Training-Free GRPO 等论文的原文数字，把这三个选择拆开。

AILLMAgent上下文工程论文深读

ENPIRE 深读：把自我改进循环搬上真机后，第一个坏掉的是 agent 自己

ENPIRE 让 Codex / Claude Code / Kimi Code 无人监督地把八台机器人训到 99% 成功率。但论文里最值钱的不是这个数字，而是一处失败：三个 agent 都在仿真里解出了 Push-T，真机上两个失败了。退化发生在 agent 的科研能力上，不在策略上——这意味着所有在确定性基底上测出的「自我改进能力」都可能被高估。

AILLMAgentAgent 工程论文深读