#Tool Calling

3 篇相关记录

2026年7月22日

从 vLLM ChatCompletionRequest 看懂大模型请求参数

把 vLLM 的 ChatCompletionRequest 当成推理控制面地图，讲清 messages、chat template、token 预算、采样参数、结构化输出、工具调用、streaming 和服务调度分别作用在大模型推理的哪一层。

2026年7月22日

Streaming 不是逐字打印：从 vLLM 看大模型增量输出的状态机

从 OpenAI SSE 协议、LLM prefill/decode、vLLM chat_completion_stream_generator 和 Parser.parse_delta 四个层次，理解大模型 streaming 为什么不是简单 append 文本，而是增量状态机。

AI AI Infra vLLM LLM Serving 源码阅读 OpenAI API Streaming Tool Calling KV Cache

2026年7月22日

OpenAIServingChat 深度解读：vLLM 怎样把一次 Chat Completion 跑成 OpenAI 响应

从 vLLM 的 OpenAIServingChat 源码看懂 /v1/chat/completions 的服务编排：chat template 渲染、SamplingParams 构造、EngineClient.generate、streaming SSE、tool/reasoning parser、usage、metrics 和 KV transfer cleanup。

AI AI Infra vLLM LLM Serving 源码阅读 OpenAI API Tool Calling Streaming