2026年10月18日当斗地主玩家是弱模型:harness 和门禁各能把 25.9% 推到哪国产 Flash 档模型打斗地主 27 局只有 7 局精彩(25.9%,门禁线 80%);日志里 8 次模型只剩 1 张牌却选「不出」还写摘要「保留 Q 控场」。讲 harness 怎么把一阶事实错物理封掉、门禁为什么要拆成「合法性 100%」+「精彩率按档位走」两条。AILLMAgentAgent 工程评测
2026年10月15日把孙宇晨的「全盘 AI 化」做成一个 APP:信息架构、闭环链路与内容设计他说生活、训练、工作、学习全丢进 AI,100% 听 AI 的。我把这个主张拆成一个个人 APP 的产品设计:不是 dashboard,是被动采集 + 每日 AI 推送 + 闭环复盘的 PDCA 循环。AILLMAgent 工程工程实践
2026年10月15日检索指标一族:从 recall@10 到 NDCG,一次算清楚Precision/Recall/F1/MRR/AP/NDCG 不是一张需要背的清单。它们是同一个约束——用户不会无限翻页——推出来的:先把检索结果当集合看,再当排序看。AILLMRAG评测搜索
2026年10月14日Harness 时代的四条战线:认知外部化、全时 Agent、对抗评测、入口争夺当大家都说「模型层叙事结束了」,到底是哪些约束让 Harness 架构非这么长不可?用 METR 的时间视距、Dual-LLM 隔离、sandbagging 检测与特权分离这条共同祖先,把四条表面独立的战线串成一张图。AILLMAgentAgent 工程AI 安全上下文工程
2026年10月14日93 个自进化 Agent 的主结果里,只有 8 个能证明「那条更新真的跑过」Harness Self-Evolution(arXiv:2610.18813)把一份 93 条的证据审计放进了公开仓库。我把 TSV 拖下来自己复算了一遍:没有一条主结果同时满足四条标准,最薄的是 activation——「被接受的那条更新,在打分的那几次运行里到底起没起作用」,只有 8 条给得出证据。然后我用同一把尺子量了自己的博客 harness,得分 0/4。AILLMAgentAgent 工程论文深读评测
2026年10月14日想要长期任务的稠密奖励,先把"世界"造出来:TeV 的反向环境合成长期智能体 RL 的卡点不是缺模型,是缺"能信的地面真值"。TeV 把每个长时任务从隐藏世界 W 反向渲染出来,让验证器和稠密进度奖励都是同一个 W 的函数。AILLMAgentAgent 工程论文深读
2026年10月10日看懂 LLM 工程路线图:下一步学什么,应该由失败决定从 Avi Chawla 的八支柱路线图出发,用上下文预算、Agent 成功率和 70B 量化显存三笔可复算的账,解释为什么学习顺序应由失败原因决定,以及如何让评测贯穿整个工程过程。LLMAgent 工程上下文工程评测工程实践
2026年9月23日大模型与 Agent 研究方向全景图:10 层 75 个分支,以及一笔给"多想一会儿"定价的账把大模型与 Agent 领域拆成 10 层 75 个研究分支,每条给一句话定位、为什么算独立方向、以及热度判断;53 个论文锚点全部用 arXiv API 逐个验活(并抓到一处标题错读)。附本机两轮交叉校验的 decode/prefill 实测与 KV cache 手算——用来给"测试时算力缩放"这件事定个价。AILLMAgent论文深读评测AI 安全模型训练
2026年9月21日RLCD 拆解:Jev 训练招牌里,多少是新的?TypeSafe 把 Jev 的训练招牌叫 RLCD。arXiv 上有个近亲 2025-07 就交了叫 RLCR,Brier 直接进奖励;Kadavath 2022 甚至一个 T=2.5 就能事后修一半。本机 Qwen3-4B 跑 30 个是非题:平均自信 99.9%、准确率 90%。AI InfraLLM论文深读模型训练
2026年9月17日System One 模型:放弃生成字符串,到底买到了什么TypeSafe 的 Jev 号称比 LLM 快 40–200 倍。我在本机用同一个 7B 模型搭了个「穷人版 System One」做对照:同样的 10 个问题,读单 token 概率比生成 JSON 快 1.8–4.1 倍,不是 100 倍;而「一问一次调用」的朴素写法反而比它要取代的东西慢 2.4 倍。AI InfraLLMllama.cpp系统设计
2026年9月15日五种 embedding 压缩,我把它们跑了一遍:96 字节能打赢 1024 字节1000 条真实 embedding、18 组配置、recall@10 全部本机实测。int8 几乎免费(4× 压缩,0.9950);二值化单独用只有 0.4673,加一次 float 重排就跳到 0.9524;而占 10 倍存储的 MRL 截断到 256 维只有 0.6832。AILLMRAG工程实践源码阅读
2026年9月15日从 ELIZA 到 Kimi K3:大模型 60 年,真正跨过的是四道门槛一张 AI 时间线把 ELIZA、感知机、反向传播、Word2Vec、Transformer 和前沿模型串在一起。真正值得带走的不是年份,而是表示、学习、路由与规模四道瓶颈如何依次被解除。AILLMTransformer零基础学习笔记
2026年9月15日X 上值得长期关注的 20 个大模型与 Agent 英文账号从 Avi Chawla 出发,实看 25 个 X 账号后留下 20 个英文一手信息源,按教程、Agent 工程、研究与行业反方四层整理;附只关注 6 人的精简版和四张可直接照抄的 X Lists。AILLMAgentAgent 工程学习笔记
2026年9月14日两张架构图里藏着 890 字节:把 DeepSeek V4.1 Flash 的 43 层排班表算出来2017 原版 Transformer 与 DeepSeek V4.1 Flash 的对照图上,每个标签都对应 config.json 里的一个键。顺着这条线可以手算出官方那个 890 B/token,并发现 40 层里只有 4 层真的在往缓存里写东西。AI InfraLLM源码阅读
2026年9月14日KV cache 的 12 种省法:把 Avi Chawla 那张总表在自己机器上跑了一遍Avi Chawla 把 12 种 KV cache 优化按「减公式哪一项」归成一张表。我在 M5 Pro 上把其中能验的三项真跑了:公式对到兆字节,但量化省的不是 50% 而是 47%——差额正好是每块的 scale 元数据。AI InfraLLM ServingLLM
2026年9月14日11 种 LLM 评估方法,其实只在回答一个问题:参照物从哪来三句话喂给字面和语义两代指标:真实排序 A>C>B,ROUGE-L 给 C>B>A,BERTScore 给 B>A>C,没一个排对。附本地 Qwen2.5-7B 的分数 token 概率分布、30 次采样的裁判方差,以及 DeepEval DAG 源码究竟把什么变确定了。AILLM评测论文深读工程实践
2026年9月14日六种位置编码,其实只在争两个插入点同一个 Qwen2.5-7B、同一段文本、同样是把窗口放大 4 倍:线性插值让 PPL 从 8.18 崩到 173.57,YaRN 只涨到 8.90。差别全在一张波长表——我手算出 YaRN 放过了 64 个维度对里转得最快的 30 对。附 llama.cpp 源码定位与三个 token 的置换等变手算。AILLMTransformer论文深读源码阅读
2026年9月14日把工具调用数据反着造:ToolGrad 用 500 条样本追平闭源大模型的那件事ToolBench 用 12.6 万条 SFT 数据把开源模型教会 tool-use,方式是「先给用户问题、DFS 搜工具链」。ToolGrad 反着来:先造链、再回头写用户 query。500 条样本训练出的 Gemma-3-12B 在 BFCL 上 83.1 分,等于 gemini-2.5-pro、高于 GPT-5。这篇把它的四模块管线拆到源码位置,把「textual gradient」追溯到 TextGrad,并和 APIGen、ToolACE 拉一张四家决策矩阵。AILLM工具调用论文深读模型训练
2026年9月14日12 种微调技术不是 12 个选项,是三张账单的折扣券图上写 BitFit「约占全部参数的 0.08%」。我按真模型的张量表数了一遍:129,024 个 bias,占 0.001694%,差 47 倍——而且它已经不是最省的那个。顺着这条线把 12 种技术钉进显存、标注、数据位置三张账单。AILLM模型训练工程实践
2026年9月11日小模型的「小」在 2026 年裂成了两半:一台 24GB Mac 上的三笔账把 2026 年的 SLM 趋势放到一台 24GB Mac 上验一遍:Qwen3.5-4B 默认配置下 20 件抽取活可用率 0/20,关掉思考后 20/20;35B-A3B 的 Q4 权重 20.50 GiB 装不进 17.76 GiB 的 GPU 工作集。参数量这个坐标失效了。LLMAI Infrallama.cppLLM Serving工程实践
2026年9月10日AFlow 到底在搜什么:读一遍 FoundationAgents 的自动 workflow 发现AFlow 的名字里挂着 MCTS,但真读源码,它不是一棵树;它是「LLM 当搜索算子 + 数值验收当奖励 + softmax 混合选父」的三件套。本文从根本约束、崩点、代码定位到手算 selection 概率,把这套结构拆到能自己复刻的分辨率。AILLMAgentAgent 工程论文深读
2026年9月10日Agent 自进化不是一张全景图,是一架四层可回滚阶梯——每往下一层 credit 就贵一个数量级把 9 篇「Agent 自进化」论文挂进一架四层可回滚阶梯:L1 Skill 文档(分钟级、git diff)、L2 Skill Bank(小时级、可 prune)、L3 Harness / 元进化(会话级、Pareto 归档)、L4 模型权重(不可逆)。每下一层,回滚成本 × 传导广度跳一个数量级,credit assignment 门槛也跳——L1 靠「≥2 条轨迹独立提议同一编辑」的投票几何就够(K=8 时假/真比 1:72),L4 必须靠 GiGPO 的 anchor state、LLM 语义自归因或 privileged teacher(OPSD)。附三笔 Python 手算:Trace2Skill 的投票几何、GiGPO 在不同状态空间下的 anchor 复用率、AgentEvolver 55% 步数节省背后的信号密度倍率。AILLMAgentAgent 工程论文深读模型训练
2026年9月10日GiGPO 到底靠什么工作:Agent 训练里的 credit assignment 廉价补丁GiGPO 把 GRPO 从"一整条轨迹一个 advantage"升级为"episode 组 + step 组 相加",在 ALFWorld/WebShop 上比 GRPO 高 12/9 个百分点。但它的核心机制既不是嵌套树,也不是嵌入相似度——就是 hash(str(observation))。这一切建立在一个物理假设上:多条 rollout 会撞到同一个中间状态。撞不到,方法退化。AILLMAgentAgent 工程论文深读模型训练
2026年9月10日LLM 评测的 25 个坑:一张五层管线地图与论文索引上一篇从一次 finish_reason=length 翻车讲了静默失败。这篇把视野拉满:按评测管线把 LLM 评测的坑切成数据、生成、评分、统计、链路五层共 25 个,每个坑给症状、论文证据(带具体数字)和防线;末尾收三条跨层主线和一份评测前中后防坑清单。AILLM评测论文深读工程实践