2026年11月18日HybridAgent 阅读笔记:少写推理后,监控究竟还看得见什么?从 AlphaSignal 的讨论和 HybridAgent 论文出发,区分答案判错、行为审计与内部探针,并复算可见文本与实际推理步数的差别。AgentAI 安全评测
2026年11月13日决策模型的奖励作弊:生产反馈环何时开始毒化训练信号用一份 60 行的最小实验复现"路由器被 proxy reward 带偏"的全过程,核对 Goodhart、自噬和 sycophancy 四类失效,并给出常见的"加探索能救"误区为什么救不了。AILLMAgent 工程AI 安全评测
2026年11月4日签名校验写好了,却默认关着:复盘 Cursor 市场上被掉包的 Claude Code 扩展Cursor 市场以 Anthropic 的名义分发了 11 小时的带后门扩展。我翻了本机客户端代码:校验上游签名的链路都在,只是默认关着。附攻击链、各方说法核对与自查清单。AI 安全Agent 工程工程实践
2026年10月19日监控一个能自主上网的 Agent,要看哪几道关?——METR 控制评估精读METR 2026-10-14 提出:前沿 AI 开发者对内部 Agent 行为最主要的证据来源是 LLM 监控,而评估监控可靠性的方式,是把监控系统本身当被测对象去红队。精读原文五子问题,交叉验证七篇论文,并用一个可复现的串联失效模型说明:为什么"最弱的一环"决定整条监控链的生死。AILLMAgentAgent 工程AI 安全系统设计论文深读
2026年10月14日Harness 时代的四条战线:认知外部化、全时 Agent、对抗评测、入口争夺当大家都说「模型层叙事结束了」,到底是哪些约束让 Harness 架构非这么长不可?用 METR 的时间视距、Dual-LLM 隔离、sandbagging 检测与特权分离这条共同祖先,把四条表面独立的战线串成一张图。AILLMAgentAgent 工程AI 安全上下文工程
2026年10月9日工具让模型看得更清楚,也可能让它忘了该不该回答深读 MIT 与 NVIDIA 的多模态 Agent 安全论文:核算 68.7% 的口径,发现主表与配对计数的不一致,拆解假缩放、上下文稀释与重新注入实验,解释为何单轮拒绝能力不能直接迁移到工具循环。论文深读Agent 工程AI 安全评测工具调用
2026年9月23日大模型与 Agent 研究方向全景图:10 层 75 个分支,以及一笔给"多想一会儿"定价的账把大模型与 Agent 领域拆成 10 层 75 个研究分支,每条给一句话定位、为什么算独立方向、以及热度判断;53 个论文锚点全部用 arXiv API 逐个验活(并抓到一处标题错读)。附本机两轮交叉校验的 decode/prefill 实测与 KV cache 手算——用来给"测试时算力缩放"这件事定个价。AILLMAgent论文深读评测AI 安全模型训练
2026年8月27日当评测系统成为攻击目标:1200 个 Agent 如何自组织、越界与篡改证据深度拆解 METR、OpenAI 与 Hugging Face 的 2026 年事件报告:从不可能任务、未授权消息板、群体协作到工具调用伪造,建立一套可迁移的 Agent 评测安全模型与工程检查清单。AILLMAgentAgent 工程评测AI 安全AI Infra系统设计
2026年8月12日安全策略不是一串 if:Llama Guard 如何把政策变成可编程门卫深读 Llama Guard:它如何把自然语言安全政策、对话角色和生成式分类统一成输入输出双向门禁;拆解 13,997 条数据、反事实式增强、AUPRC 实验、策略迁移,以及生产落地时不能忽略的阈值、注入和权限边界。AILLMAI 安全论文深读
2026年8月10日主模型在思考,谁在打下手?——Agent 推理循环里被专训小模型接管的八个岗位把主 Agent 的一次推理循环摊开成一条流水线,逐站盘点正在被专向训练小模型接管的岗位:路由员(RouteLLM)、安检员(Llama Guard/ShieldGemma)、精简师(LLMLingua)、打字员(投机解码/EAGLE)、质检员(Math-Shepherd/Qwen PRM/Prometheus 2)、翻译员(Gorilla/xLAM)、指路员(UGround/OS-Atlas)、誊写员(Cursor fast apply,已被回收的岗位)。以 NVIDIA 的 SLM 立场论文为理论锚点,收束成一条岗位寿命定律:结构位 > 部署位 > 能力位——靠结构立足的岗位长存,靠能力差立足的岗位终将被主模型收回。AILLMAgentAI 安全论文深读
2026年8月7日Agent 时代的工程学·门禁篇:六道闸门,和一条「不可逆边界」定律决策地图系列第六篇:体系化地做 AI Gates 门禁。先给出第一性分解——门禁 = 判定器 × 执法点,判定器全是评测的蒸馏、执法点应设在不可逆性跃迁的边界上;再沿 AI 系统生命周期排出六道闸门(输入、输出、行动、合入、发布、熔断),每道闸配源头论文与技术代表:Llama Guard、Constitutional Classifiers、NeMo Guardrails、ToolEmu、Progent、Meta TestGen-LLM、promptfoo/Braintrust、Preparedness Framework/RSP、Circuit Breakers。附一张可复用的门禁设计表和四步落地路线。AILLMAgentAI 安全论文深读
2026年8月5日深度解读 Anthropic 内容安全策略:一份宪法的五次编译从 Usage Policy 到 Claude 宪法、Constitutional AI 训练、Constitutional Classifiers 运行时防御、RSP/ASL 升级协议,再到 Clio 遥测闭环——Anthropic 的内容安全不是一份禁止清单,而是把同一份自然语言规约"编译"到系统五个层次的纵深栈。这篇结合官方文档与四篇 arXiv 论文拆它的第一性原理:为什么规则要写给模型自己读、安全如何被标上价格(拒答率 + 推理开销)、以及"让 AI 监督 AI"这个赌注的收益与脆弱处。AI 安全LLM