2026年10月28日DeepEval 评测坐标系:三模式 × 打分范式 × 场景族,LLM 评测这棵树是怎么长全的读 DeepEval 源码把 LLM 评测拆成「三模式×打分范式×场景族」:JevEval 全程不走 LLM、DAG 分数写死、Contextual Precision 公式亲手验算。附 RAGAS/JudgeLM/Agent-as-a-Judge 论文支撑与竞品生态位。AILLM评测源码阅读Agent 工程
2026年10月28日G-Eval 源码深读:裁判模型打出的 2.894 分,到底是什么读 DeepEval 的 G-Eval 源码:为什么分数是概率加权期望而不是整数档位,criteria/steps/rubric/strict_mode 四旋钮各控制什么,以及倒序扫 logprob、滤 <1% token、重归一化的三层防抖。评测LLM源码阅读
2026年10月27日从零重建软件,测的是架构决策不是写代码:ProgramBench 深读一个只给可执行文件和文档、断网、按行为测试判分的评测,逼模型从零造出 FFmpeg/SQLite/PHP。结果:没有一个模型完整解决任何任务;更扎眼的是,模型把软件开发做成了"一次性长代码补全",写出来的代码结构和人写的根本不是一种东西。AILLMAgentAgent 工程论文深读评测
2026年10月25日Nomic Embed 论文精读:好向量是怎样训练出来的沿 arXiv 2402.01613v2 拆解 Nomic Embed 的三阶段训练。用可运行的小实验解释相对排名筛选、困难负样本、GradCache 与长文信息稀释,再核对论文榜单的真实边界。AILLMRAG论文深读模型训练评测
2026年10月24日ASENA 深读:72%→98% 的「自我进化」,我用一个 7B 模型零学习复现了 +25 分ASENA 报告权重不动、只进化工作区,R2R 十轮从 72% 涨到 98%——但十轮考的是同一组题、对着标准答案。我在本地 7B 上复现:零学习、只锁定做对过的答案,63%→88%;只许写通用经验,新题上 p=0.58。AIAgentAgent 工程论文深读评测记忆
2026年10月19日从 1126 条真实决策记录里挖出来的 4 个新门禁候选扫 6 场 1126 条决策记录。立即获胜命中率 100%、voluntary pass 7.9%,最可疑的是 25 次农民让地主。有一条验证到底——地主剩 2 张农民让单 9,下一轮地主就赢了。AILLMAgentAgent 工程评测
2026年10月19日弱模型斗地主的 7 个具体手段:每一个都对准一类肉眼可见的失手上篇讲 harness 和门禁的概念被追问具体做法。这篇讲 7 个真在仓库里跑的手段:forced_pass 的 4 行判定、grounding 的 outcomes 清单、残局 pool≤8 组合枚举……每个附代码行号+真实失手+附带新发现:昨天提的「必须解释偏离」被当天的 adherence 数据直接否了。AILLMAgentAgent 工程评测
2026年10月18日当斗地主玩家是弱模型:harness 和门禁各能把 25.9% 推到哪国产 Flash 档模型打斗地主 27 局只有 7 局精彩(25.9%,门禁线 80%);日志里 8 次模型只剩 1 张牌却选「不出」还写摘要「保留 Q 控场」。讲 harness 怎么把一阶事实错物理封掉、门禁为什么要拆成「合法性 100%」+「精彩率按档位走」两条。AILLMAgentAgent 工程评测
2026年10月15日检索指标一族:从 recall@10 到 NDCG,一次算清楚Precision/Recall/F1/MRR/AP/NDCG 不是一张需要背的清单。它们是同一个约束——用户不会无限翻页——推出来的:先把检索结果当集合看,再当排序看。AILLMRAG评测搜索
2026年10月14日谁把这件事搞砸了:多 Agent 失败归因的 31% 天花板深读 BLADE(2610.18780v1):从论文报的小数位反推出五个子集的真实规模(58/126/811/152/81,三处交叉验证全部吻合),把等权平均换成按轨迹加权,+5.6 分变成 +3.4 分;并指出它两次"并列最优"都是和表里最笨的基线并列。论文深读Agent 工程评测Agent工程实践
2026年10月14日一个 Agent 里有多少其实是脚本:ChunkAct 的 57.5% 比 +5.0 分重要深读 ChunkAct(2610.18874v1):从论文自己的两个数字手算出朴素做法在第 27 个原语撞上上下文墙,重算提示缓存下 4.4× 省到哪里,并用小数位反推主表的真实样本量——+5.0 分靠的是一个单元格里的两次失败。论文深读Agent 工程上下文工程评测Agent
2026年10月14日Code Mode 真的有收益吗:687 次调用、两个模型跑出来的答案不估字节数,真的执行。四组对照实验、687 次模型调用、两个模型,量出 Code Mode 省的是什么、省不动的是什么,以及我自己踩进去的三个实验设计坑。AgentAgent 工程MCP上下文工程评测
2026年10月14日93 个自进化 Agent 的主结果里,只有 8 个能证明「那条更新真的跑过」Harness Self-Evolution(arXiv:2610.18813)把一份 93 条的证据审计放进了公开仓库。我把 TSV 拖下来自己复算了一遍:没有一条主结果同时满足四条标准,最薄的是 activation——「被接受的那条更新,在打分的那几次运行里到底起没起作用」,只有 8 条给得出证据。然后我用同一把尺子量了自己的博客 harness,得分 0/4。AILLMAgentAgent 工程论文深读评测
2026年10月10日看懂 LLM 工程路线图:下一步学什么,应该由失败决定从 Avi Chawla 的八支柱路线图出发,用上下文预算、Agent 成功率和 70B 量化显存三笔可复算的账,解释为什么学习顺序应由失败原因决定,以及如何让评测贯穿整个工程过程。LLMAgent 工程上下文工程评测工程实践
2026年10月9日Google FlowAgent 论文深读:AI 修复的有效期,比修复率更容易被低估从 Google FlowAgent 的生产漏斗出发,重算过期损失与采纳口径,解释低延迟修复为何需要版本校验、意图验证和工作流设计,并用可复算的预算例子讨论何时该停止搜索。论文深读Agent 工程评测
2026年10月9日工具让模型看得更清楚,也可能让它忘了该不该回答深读 MIT 与 NVIDIA 的多模态 Agent 安全论文:核算 68.7% 的口径,发现主表与配对计数的不一致,拆解假缩放、上下文稀释与重新注入实验,解释为何单轮拒绝能力不能直接迁移到工具循环。论文深读Agent 工程AI 安全评测工具调用
2026年9月23日大模型与 Agent 研究方向全景图:10 层 75 个分支,以及一笔给"多想一会儿"定价的账把大模型与 Agent 领域拆成 10 层 75 个研究分支,每条给一句话定位、为什么算独立方向、以及热度判断;53 个论文锚点全部用 arXiv API 逐个验活(并抓到一处标题错读)。附本机两轮交叉校验的 decode/prefill 实测与 KV cache 手算——用来给"测试时算力缩放"这件事定个价。AILLMAgent论文深读评测AI 安全模型训练
2026年9月18日Shiplight 全栈拆解:Agent 原生测试平台如何把意图变成可持续回归我实际走查 Shiplight 官网、67 个文档入口、公开 Agent Skill、npm 包与 Trust Center,拆开它的 MCP 浏览器、YAML 意图层、Playwright 执行层、Action Cache、自愈、CI 归因和云端商业飞轮,并给出一条不照抄产品表面的 clean-room 自研路线。AIAgent自动化AI Infra评测
2026年9月14日11 种 LLM 评估方法,其实只在回答一个问题:参照物从哪来三句话喂给字面和语义两代指标:真实排序 A>C>B,ROUGE-L 给 C>B>A,BERTScore 给 B>A>C,没一个排对。附本地 Qwen2.5-7B 的分数 token 概率分布、30 次采样的裁判方差,以及 DeepEval DAG 源码究竟把什么变确定了。AILLM评测论文深读工程实践
2026年9月10日LLM 评测的 25 个坑:一张五层管线地图与论文索引上一篇从一次 finish_reason=length 翻车讲了静默失败。这篇把视野拉满:按评测管线把 LLM 评测的坑切成数据、生成、评分、统计、链路五层共 25 个,每个坑给症状、论文证据(带具体数字)和防线;末尾收三条跨层主线和一份评测前中后防坑清单。AILLM评测论文深读工程实践
2026年9月10日一次 finish_reason=length 翻车:LLM 评测的静默失败分几层Veral 跑 Kimi K2 多选评测翻车:reasoning 吃光 4096 token、content 为空、finish_reason=length,评分器抓不到答案。以这次为锚点,把 LLM 评测里的静默失败排成五层——生成层、评分层、统计层、数据层、链路层——每层给症状、根因、探测方法与 arXiv 出处。AILLM评测Agent论文深读工程实践
2026年9月9日BFCL v3 深读:多轮函数调用的评测口径,从「对答案」换成「diff 状态」Berkeley 那篇 BFCL v3 博客表面在讲 1000 条新多轮题目,底下真正换掉的是评测口径:从 AST 匹配一条正确轨迹,变成让代码跑进沙盒后比对对象属性。附源码定位、条数核对、四类多轮任务的判据分工,以及一处被注释掉的更严判据留下的证据。AILLMAgent评测工具调用源码阅读
2026年9月8日Agent 记忆的前沿玩法:从存聊天记录,到主动寻找可用证据结合 Hindsight、EviMem、RLM、MemSkill、AgeMem 与最新隐式记忆评测,拆解有效的记忆和知识获取路线,附版本冲突小实验、成本复算与落地顺序。AILLMAgent记忆RAG论文深读评测
2026年9月8日先测判据,再测 Agent:业务评测样本的构造方法与一次作弊下界实测我按六轴坐标亲手造了 12 条电商售后样本和三代判据,让 5 个不理解业务的确定性作弊脚本去跑:第一版判据被拿到 9/12(75%),12 条样本全部被攻破,加固后降到 1/12。剩下那条是任务效度问题——题面漏了答案,改判据无解。附可复跑代码与判据体检清单。AILLMAgent评测Agent 工程工程实践