2026年7月8日BPE 不是一个汉字一个 Token:从 Qwen tokenizer 实验看懂 token 计费用 Qwen2.5 tokenizer 的中文、英文、代码和 emoji 实测数据,讲清为什么 token 不是字符,以及为什么 LLM 按 token 而不是字符计费。AIAI InfraLLM学习笔记
2026年7月8日PrologMCP 学习笔记:别让大模型硬想,把演绎推理交给符号系统消化 PrologMCP 论文:为什么 LLM 在深层演绎推理上不稳定,PrologMCP 如何把 Prolog 标准化为 MCP 工具,以及“模型做翻译、求解器做推理”的系统分工。AILLMAgentMCP学习笔记
2026年7月8日SWE-bench 学习笔记:代码模型评测,终于从刷题走向真实修 Bug消化 SWE-bench 论文:为什么传统代码生成评测不足以衡量软件工程能力,SWE-bench 如何用真实 GitHub issue、仓库上下文和测试执行构造可执行评测。AILLM评测学习笔记
2026年7月6日AI Infra 工程师日常工作地图:以 OpenAI 岗位为镜,明自己的学习坐标基于 OpenAI 公开 AI Infra 相关岗位描述,按训练、推理、数据、GPU 集群、可靠性、评测发布、Agent Infra、安全和开发效率拆解 AI Infra 工程师每天实际做什么,并映射到个人学习路线。AIAI InfraLLM学习笔记
2026年7月6日LoRA 机制学习笔记:为什么它能把函数和技能变成大模型的可插拔补丁从矩阵乘法、Transformer 线性层、低秩增量和 adapter 加载机制出发,解释 LoRA 如何与大模型内核协作,以及为什么 Program-as-Weights 和 Parametric Skills 都选择把能力内化成 LoRA。AILLMAI Infra学习笔记
2026年7月6日LoRA rank=16 数学直觉:不是更新 16 个维度,而是用 16 个方向生成完整增量从矩阵秩、外积、低秩分解和瓶颈层出发,用通俗数学解释 LoRA 里的 rank=16 到底是什么意思,为什么它能影响所有输出维度,以及为什么常在 8/16/32/64 之间取值。AILLMAI Infra学习笔记数学
2026年7月6日Parametric Skills 学习笔记:把 Agent 技能从上下文说明书编译成 LoRA 参数深入拆解 Parametric Skills:为什么文本技能会在长上下文 Agent 中失效,如何用 hypernetwork 把 SKILL.md / 轨迹经验转成 LoRA adapter,以及它和 Program-as-Weights 的关系。AILLMAI Infra学习笔记AgentSkills
2026年7月6日本地跑通一个真实 PEFT LoRA:从环境、代码到 base/adapter/merged 输出对比完整记录一次生产常见 LoRA 推理链路:Apple Silicon 本地环境、uv 隔离环境、Transformers + PEFT 加载 Qwen2.5-0.5B 基座和 commit message LoRA adapter,比较 base、active adapter、merged model 的输出。AILLMAI Infra学习笔记Transformer
2026年7月6日Program-as-Weights 学习笔记:把一次大模型调用编译成可复用的小权重程序深入拆解 Program-as-Weights 论文:为什么要把模糊函数编译成权重、PAW 的编译器-解释器结构、Text-to-LoRA 实现、FuzzyBench 训练方式、实验结果、工程收益和局限。AILLMAI Infra学习笔记
2026年7月4日AI Infra 数学地基(细分版):每个知识点拆到高中数学起步给数学底子一般的人的 AI Infra 数学地图:8 个板块全部拆到高中数学层级,标注难度和前置依赖,每个概念配人话解释,并用真实实验数据代入验证。AIAI InfraLLM数学学习笔记
2026年7月4日AI Infra 全景思维导图:一个 token 的一生要经过哪些系统用一张思维导图梳理 AI Infrastructure 的 12 个板块:从硬件、算子编译、训练与推理引擎,到服务调度、量化、端侧和成本工程,并标注 90 天学习路线的覆盖位置。AIAI InfraLLM学习笔记