2026年11月18日HybridAgent 阅读笔记:少写推理后,监控究竟还看得见什么?从 AlphaSignal 的讨论和 HybridAgent 论文出发,区分答案判错、行为审计与内部探针,并复算可见文本与实际推理步数的差别。AgentAI 安全评测
2026年11月17日Agent native 思维:为一个只读文本、每次失忆、照字面过关的用户做设计Agent native 思维的用户只读文本、每次从零开始、会照字面通过你给的检查。用两组自测讲清它落在哪七个面上,以及从「外挂」到「会复利」的五级标准。AIAgentAgent 工程工具调用系统设计工程实践
2026年11月11日读懂 Muse Ember:小模型怎样接住 Agent 的执行成本结合 Meta 发布与评测报告,以及知识蒸馏、Distilling Step-by-Step、FrugalGPT、OSWorld 四篇论文,解释小模型承担执行工作的条件。用脚本重建成本前沿,推导升级大模型的成本界限,区分低单价、低任务成本和低交付成本。AILLMAgent学习笔记评测
2026年11月11日门禁拒绝就升级 Pro?4B 定位修复的 36 模板对照对 24 个合成页面补跑 DeepSeek V4 Pro,并冻结 12 个四入口追加样本,共记录 168 次调用。比较规则、4B、Pro 和按门禁失败升级的路由:升级子集没有恢复任何任务;同时区分原始选择、最终验收、延迟与按 usage 估算的 API 费用。附代码和原始数据。Agent评测工程实践llama.cpp
2026年11月10日s³ 论文深读:Agent 怎样学会协作,以及扩编后的效率该怎么算拆解 s³ 的异步通信、团队相对强化学习与两类协作任务。核对 9.4 个百分点的统计条件,并复算预算归一化与训练前后差距,解释哪些收益来自学习、哪些结论不能跨人数直接比较。Agent论文深读模型训练评测
2026年11月8日从姚顺雨到 Karpathy:六位 AI 领军人物的判断与分歧核读截至 2026 年 11 月 8 日的本人文章、完整访谈与主办方记录,比较六位 AI 领军人物的分歧;复算 τ-bench 与 METR 数据,看懂评测、可靠性、世界模型和安全治理如何影响真实工作。AIAgent评测
2026年11月5日本机 4B 实测 harness-vs-bare:救回那 5 分的是一行 system prompt,不是 self-consistency上一篇 VABAR 的 46 分 harness gap 是 physical 侧的整体贡献;这一篇把它在小模型小任务上拆开。本机 llama.cpp 跑 Qwen3-4B-Instruct-2507-Q4,80 道 JSON 提取对照 bare vs harness:L1 两栏 100% 打平(ceiling),L2 bare 95% / harness 100%。救回那 5 分的 2 道题都是"敬称 drop"(Mr. Yamada → Yamada),harness 三次采样 100% 同票 self-consistency 贡献 0 分,retry 分支从未触发——收益全部来自 system prompt 的 schema 规范。为了 5 分 harness 多花 3.9× 时间,大部分开销买的是 no-op。AILLMAgentAgent 工程评测工程实践
2026年11月5日审自己的 blog agent:单次 4.7 行规则换 1 行产出,摊销到 419 篇反过来是 1.9%把本仓库当 primary data:publish-blog skill 1150 行 + taxonomy 97 行 + validator 618 行,每次写一篇博客加载约 1247 行规则,产出平均 264 行,比例 4.7 : 1。但 2094 行 harness 服务 419 篇 / 110490 行产出,摊销后是 1.9% / 98.1%。顺手拆开 arXiv 2609.00006 说的 Claude Code 1.6/98.4 和 VABAR 的 46/54——两个数字落在同一数量级纯属巧合,根本不是同一种量。AIAgentAgent 工程评测工程实践
2026年11月5日VABAR 深读:从裸 Claude Code 到人写图这 66 分涨幅,harness 和 composition 几乎一人一半VABAR(arXiv 2611.06881)把裸 Claude Opus 5、同模型装进 GaP harness、以及人写执行图三栏放进同一张表。我把 12 个 task–difficulty 条件逐个加起来重算:Claude Code 0.3% → GaP Autonomous 30.7% → GaP Human 66.6%,harness 加 30.45 分、人写图再加 35.88 分,几乎对半开。这是论文自己没点出来的那笔账——第一次有 benchmark 把 Lilian Weng 的 "harness 决定能力" 和 "composition 抽不掉" 分开量了。AIAgentAgent 工程论文深读评测
2026年10月29日"Used computer · 1 action" 到底是什么:Computer Use Agent 的能力、账本与论文谱系在 Agent tracing 里看到 "Used computer · 1 action",说明 Agent 正在像人一样看屏幕、点鼠标、敲键盘。这是控制栈的最底层兜底:每次点击都是一次昂贵的多模态赌博。本文结合 OSWorld、UI-TARS、SeeClick 等论文讲清它的能力边界与成本账。AgentAgent 工程工具调用论文深读AI
2026年10月27日从零重建软件,测的是架构决策不是写代码:ProgramBench 深读一个只给可执行文件和文档、断网、按行为测试判分的评测,逼模型从零造出 FFmpeg/SQLite/PHP。结果:没有一个模型完整解决任何任务;更扎眼的是,模型把软件开发做成了"一次性长代码补全",写出来的代码结构和人写的根本不是一种东西。AILLMAgentAgent 工程论文深读评测
2026年10月27日给 AI 技能装个"杀毒软件":NVIDIA SkillSpector 源码深读SkillSpector 扫描 agent 技能里 71 种脆弱性模式。它为什么长成"确定性静态 + LLM 复核 + 完整度账本"这样?我从克隆仓库到跑真实扫描,拆它的风险评分、两段式流水线和 fail-closed 哲学。AILLMAgentMCPSkillsAgent 工程
2026年10月24日ASENA 深读:72%→98% 的「自我进化」,我用一个 7B 模型零学习复现了 +25 分ASENA 报告权重不动、只进化工作区,R2R 十轮从 72% 涨到 98%——但十轮考的是同一组题、对着标准答案。我在本地 7B 上复现:零学习、只锁定做对过的答案,63%→88%;只许写通用经验,新题上 p=0.58。AIAgentAgent 工程论文深读评测记忆
2026年10月19日Harness² 源码细读:所谓"递归自我改进",到底在递归什么谷歌 harness²(arXiv:2610.14224)在固定模型权重下让 LLM 改自己 agent 的 harness,用执行差异当唯一信号驱动改进。我把 core/ 下 5700 行源码按模块读了一遍,整理出两处 for 循环、六个"让 LLM 当编辑器也不会自欺"的硬设计,以及一个独立判断——它是真 RSI,还是一个说得漂亮的「摊销式上下文策展」。AILLMAgentHarnessSelf-Improvement论文深读
2026年10月19日监控一个能自主上网的 Agent,要看哪几道关?——METR 控制评估精读METR 2026-10-14 提出:前沿 AI 开发者对内部 Agent 行为最主要的证据来源是 LLM 监控,而评估监控可靠性的方式,是把监控系统本身当被测对象去红队。精读原文五子问题,交叉验证七篇论文,并用一个可复现的串联失效模型说明:为什么"最弱的一环"决定整条监控链的生死。AILLMAgentAgent 工程AI 安全系统设计论文深读
2026年10月19日从 1126 条真实决策记录里挖出来的 4 个新门禁候选扫 6 场 1126 条决策记录。立即获胜命中率 100%、voluntary pass 7.9%,最可疑的是 25 次农民让地主。有一条验证到底——地主剩 2 张农民让单 9,下一轮地主就赢了。AILLMAgentAgent 工程评测
2026年10月19日弱模型斗地主的 7 个具体手段:每一个都对准一类肉眼可见的失手上篇讲 harness 和门禁的概念被追问具体做法。这篇讲 7 个真在仓库里跑的手段:forced_pass 的 4 行判定、grounding 的 outcomes 清单、残局 pool≤8 组合枚举……每个附代码行号+真实失手+附带新发现:昨天提的「必须解释偏离」被当天的 adherence 数据直接否了。AILLMAgentAgent 工程评测
2026年10月18日当斗地主玩家是弱模型:harness 和门禁各能把 25.9% 推到哪国产 Flash 档模型打斗地主 27 局只有 7 局精彩(25.9%,门禁线 80%);日志里 8 次模型只剩 1 张牌却选「不出」还写摘要「保留 Q 控场」。讲 harness 怎么把一阶事实错物理封掉、门禁为什么要拆成「合法性 100%」+「精彩率按档位走」两条。AILLMAgentAgent 工程评测
2026年10月14日谁把这件事搞砸了:多 Agent 失败归因的 31% 天花板深读 BLADE(2610.18780v1):从论文报的小数位反推出五个子集的真实规模(58/126/811/152/81,三处交叉验证全部吻合),把等权平均换成按轨迹加权,+5.6 分变成 +3.4 分;并指出它两次"并列最优"都是和表里最笨的基线并列。论文深读Agent 工程评测Agent工程实践
2026年10月14日一个 Agent 里有多少其实是脚本:ChunkAct 的 57.5% 比 +5.0 分重要深读 ChunkAct(2610.18874v1):从论文自己的两个数字手算出朴素做法在第 27 个原语撞上上下文墙,重算提示缓存下 4.4× 省到哪里,并用小数位反推主表的真实样本量——+5.0 分靠的是一个单元格里的两次失败。论文深读Agent 工程上下文工程评测Agent
2026年10月14日Code Mode 真的有收益吗:687 次调用、两个模型跑出来的答案不估字节数,真的执行。四组对照实验、687 次模型调用、两个模型,量出 Code Mode 省的是什么、省不动的是什么,以及我自己踩进去的三个实验设计坑。AgentAgent 工程MCP上下文工程评测
2026年10月14日Context Mode 与 Code Mode:都在给 Agent 瘦身,按住的是不同管子一边压缩工具编排,一边折叠工具返回。用一次自跑的字节数实验讲清两个新词的机理、目的、组合方式和边界。AgentMCP上下文工程Agent 工程工程实践
2026年10月14日Harness 时代的四条战线:认知外部化、全时 Agent、对抗评测、入口争夺当大家都说「模型层叙事结束了」,到底是哪些约束让 Harness 架构非这么长不可?用 METR 的时间视距、Dual-LLM 隔离、sandbagging 检测与特权分离这条共同祖先,把四条表面独立的战线串成一张图。AILLMAgentAgent 工程AI 安全上下文工程
2026年10月14日93 个自进化 Agent 的主结果里,只有 8 个能证明「那条更新真的跑过」Harness Self-Evolution(arXiv:2610.18813)把一份 93 条的证据审计放进了公开仓库。我把 TSV 拖下来自己复算了一遍:没有一条主结果同时满足四条标准,最薄的是 activation——「被接受的那条更新,在打分的那几次运行里到底起没起作用」,只有 8 条给得出证据。然后我用同一把尺子量了自己的博客 harness,得分 0/4。AILLMAgentAgent 工程论文深读评测