作者：Lei阅读 --

大企业的大模型到底在搞什么：一张"四个缺口"全景图

把大企业"能搞的大模型内容"收敛成四个缺口——知识、行动、信任、成本。用 20 余篇可查证的 arXiv 论文标出每个缺口下值得立项的方向、已知的坑与真实完成度，并给出一张立项检查单。

LLMAI InfraRAGAgent

两个数字放在一起看。一边，行业调研普遍给出的口径是：到 2026 年，超过 80% 的企业将部署生成式 AI API 或模型，而 2023 年这个数字还不到 5%（Gartner 口径，转引自 index.dev 的统计汇总）。另一边，CMU 团队把当今最强的 LLM agent 放进一家模拟软件公司里干活——浏览内网、写代码、跟”同事”沟通——175 个真实工作任务，表现最好的 agent 也只能独立完成约 30%（TheAgentCompany，arXiv:2412.14161）。“人人都在上”和”机器还干不了”之间的这道落差，就是大企业”可搞的内容”的全部空间。

这篇文章的主线一句话说清：企业里一切值得立项的大模型建设，本质上都是在为通用基座模型补四个缺口——它不懂你的知识、干不了你的活、担不起你的责、算不平你的账。立项时先问”这补的是哪个缺口”，比追着技术名词跑有用得多。

每个关键论点都挂了可查证的来源，文末按”论文 / 工程实践”分组列出。这篇与《小公司如何构建自己的大模型》是姊妹篇：那篇回答”模型要不要自己动、动到多深”，这篇回答”模型之外，企业还有哪些仗要打”。

一、先问第一性问题：通用模型到底缺你什么？

基座模型是在公开语料上、以”预测下一个 token”为目标训出来的通用引擎。不管它多强，对一家具体的企业，它天生缺四样东西：

  1. 你的知识——你的私有数据、领域黑话、内部流程，都不在它的训练语料里。
  2. 你的手脚——它不会登录你的 ERP、查你的数据库、走你的审批流。
  3. 你的信任——它会出错、会幻觉、会被注入攻击，而你的业务要合规、要审计、要担责。
  4. 你的账本——API 调用要花钱，私有化部署要买卡，数据出域可能直接违规。

企业里五花八门的项目名词——RAG、知识库、智能体、护栏、评测平台、私有化部署——全部可以映射回这四个缺口。用一张图把全景收敛起来：

flowchart LR
    M["通用基座模型"] --> G1["知识缺口<br/>不懂你的业务"]
    M --> G2["行动缺口<br/>干不了你的活"]
    M --> G3["信任缺口<br/>担不起你的责"]
    M --> G4["成本缺口<br/>算不平你的账"]
    G1 --> P1["RAG / 企业知识库<br/>知识图谱融合<br/>领域微调与领域模型"]
    G2 --> P2["智能体与工作流自动化<br/>代码助手 / 数据分析<br/>客服与文档处理"]
    G3 --> P3["评测体系与基准<br/>安全护栏 Guardrails<br/>合规审计与治理"]
    G4 --> P4["私有化部署与推理优化<br/>LLMOps 平台<br/>模型选型与路由"]

四个缺口不是并列的四个部门任务，而是有依赖顺序的：知识和行动是”造价值”，信任和成本是”保价值”。只造不保的项目会死在 POC 到生产的那道坎上——这正是后文多篇论文反复观察到的现象。下面逐个拆。

二、知识缺口：让模型懂你的业务

RAG 是事实上的主战场，但现实比宣传冷静

检索增强生成（RAG：回答前先从你的知识库里检索相关材料塞进上下文）是企业渗透率最高的技术路线。但它在企业里的真实状态，一手材料比厂商宣传冷静得多。一项对 13 位工业界从业者的访谈研究（arXiv:2508.14066）发现：当前的企业 RAG 应用大多局限在领域问答一类任务上，且多数系统仍停留在原型阶段——卡住它们的不是模型，而是需求梳理、数据质量和评测手段。

更反直觉的一手经验来自 IBM 团队维护企业级 RAG 产品的复盘（arXiv:2410.12812）：对 RAG 效果影响最大的杠杆，往往不是换检索算法，而是重写知识库内容本身——把文档写得自包含、一个主题一个块、标题即答案。他们还发现学术界常用的 RAG 基准评测方法，对”回答用户从没问过的新问题”这个真实场景几乎没有参考价值。同样的祛魅也发生在检索侧：Dell 团队在生产级流水线上评测 RAG Fusion（多路检索融合），结论是在固定检索深度、重排预算和延迟约束的现实条件下，融合带来的多样性收益大多被抵消，准确率和延迟收益有限甚至为负（arXiv:2603.02153）。

这三篇放在一起给出一个清晰的立项启示：企业 RAG 的护城河在数据侧（内容设计、切块、元数据）和评测侧，不在检索算法的花活上。想系统性了解 RAG 的技术版图与企业落地挑战（私有数据检索、权限、扩展性），可读这篇系统综述（arXiv:2507.18910）；想看单个组织从零落地的完整踩坑记录，Qatar 计算研究所的 T-RAG 论文副标题就叫”来自 LLM 战壕的经验”（arXiv:2402.07483），它把 RAG 与实体树结构结合来回答组织架构类问题，是”检索之外还要建模结构化知识”的一个具体样本。往前看，RAG 的演化方向是把”检索什么、检索几轮”本身交给 agent 决策（agentic RAG），综述见 arXiv:2501.09136。

知识图谱：结构化知识的融合路线

RAG 处理的是非结构化文档，但企业里同样值钱的是结构化知识：组织架构、产品谱系、业务流程模型。把 LLM 与知识图谱、知识库方法融合是一条独立的建设路线，综述见 arXiv:2501.13947。一个有节制的实验结论值得记住：用知识图谱辅助 LLM 做企业架构建模（ArchiMate 模型生成）时，生成结果在简单任务上稳定，但任务越复杂可靠性越差，专家的监督与干预不可省（arXiv:2501.03566）。知识图谱路线的正确预期是”给模型装导航”，不是”让模型自动画完整张地图”。

领域模型：仅当上面两条都补不动时才考虑

如果领域知识的缺口深到 RAG 和提示词都补不动——词表、语法、推理模式整个不一样——才轮到动模型权重。这条路的两端各有一个标杆：Bloomberg 花约 130 万 GPU 小时、用 3630 亿 token 金融语料从零训出 BloombergGPT（arXiv:2303.17564），随后被”没吃过一条私有数据”的通用大模型在多项金融基准上追平；而法律领域的 SaulLM-54B/141B 走的是”开源基座 + 全流程领域适配”（继续预训练 → 指令微调 → 法律偏好对齐），以小得多的成本在 LegalBench 上超过了 GPT-4 与原版基座（arXiv:2407.19584）。两个案例的对照就是决策边界本身：从零训练几乎总是错的，基于开源基座的领域适配才是企业的现实选项。

想理解”往模型里注入领域知识”的方法全景（提示、检索、适配器、微调、预训练），综述见 arXiv:2502.10708。还有一个让人安心的机理发现：对医疗大模型的系统研究表明，领域微调其实只修改了表示空间中很小的一个子空间，基座模型的通用表示基本保留（arXiv:2510.09359）——领域化不必以牺牲通用能力为代价。至于”动权重动到多深”的完整决策阶梯（提示词 → LoRA 微调 → 继续预训练 → 从零训练），姊妹篇已经铺过，此处不重复。

三、行动缺口：让模型干你的活

应用面比你想的宽，但深度分布极不均匀

大模型在企业里”能干活”的面已经铺得很开。2025 年的应用综述（arXiv:2503.04596）观察到部署已覆盖制造、能源、政务、医疗、教育、金融等行业，高频场景包括智能问答、自动摘要、知识库检索、代码生成、数据分析、舆情跟踪——且不再是巨头专属，中小企业和研究机构也在用开源框架搭自己的服务节点。这一层的立项相对成熟：代码助手、文档处理、客服问答是三个已被反复验证的”浅水区”。

智能体是最热的方向，也是完成度最诚实的方向

比”单轮问答”更进一步的是智能体（agent）：让模型规划多步任务、调用工具、操作系统。方法论全景可读这篇综述（arXiv:2503.21460）。但企业立项前必须直视开头那个数字：TheAgentCompany 用一家自建的模拟软件公司（内网、代码库、聊天工具、“同事”）测了 175 个长程真实任务，最强的 agent 完成率约 30%——简单任务可以自动化，长链路、需要复杂 UI 操作和人际沟通的任务仍然做不到（arXiv:2412.14161）。

更要紧的是，企业场景对 agent 的要求比学术基准苛刻一个维度。LLM agent 评测综述（arXiv:2507.21504）专门指出：企业应用要求对数据和系统的安全访问、可审计的高可靠性、以及更复杂的交互模式——而这些恰恰是现有文献很少覆盖的。换句话说，把开源 agent 框架搬进企业，缺的不是”聪明”，是”守规矩”。

这给行动缺口的立项排序给出清晰指引：从”短链路、结果可校验、错了可回滚”的流程切入（报告初稿、代码评审辅助、工单分类、数据查询），把长程自主 agent 当作滚动投资而非今年的交付物。

四、信任缺口：评测与护栏才是企业的差异化壁垒

知识和行动是”造价值”，从这一节开始是”保价值”——也是 POC 与生产环境之间真正的分水岭。

护栏（guardrails）——在模型输入输出两侧加检查层，拦截注入攻击、有害内容、越权输出——的方法全景可读这篇综述（arXiv:2406.02622）；面向企业系统的护栏栈设计可参考 Protect（arXiv:2510.13351）。但护栏不是”装上就完事”的复选框：一项对 Meta、Google、IBM、NVIDIA、阿里等 10 个公开护栏模型的评测（覆盖 21 类攻击、1445 条测试提示）发现，所有模型在没见过的提示上都显著退化，基准分数可能因训练数据污染而虚高——护栏的真实指标是泛化能力，不是榜单成绩（arXiv:2511.22047）。护栏与 agent 叠加还会产生新的失效形态：对工具增强 agent 的黑盒审计发现，agent 会把基础设施故障包装成”出于安全考虑拒绝回答”，即”不忠实的安全拒绝”（arXiv:2607.19449）——审计层必须能区分”不能做”、“不该做”和”做砸了”。

评测体系是信任缺口里更被低估的一半。前面已经看到：学术 RAG 基准对真实问题几乎失效（arXiv:2410.12812），agent 的企业级要求缺少现成基准（arXiv:2507.21504），护栏榜单可能被污染（arXiv:2511.22047）。三条证据指向同一个结论：面向自己业务的私有评测集，是企业在大模型时代少数真正的护城河之一——它不随模型换代贬值，反而随每次迭代增值。这也呼应了姊妹篇的判断：护城河是私有数据和评测，不是参数量。

五、成本缺口：账本决定架构

“用 API 还是私有化部署”不是信仰问题，是算术题。一项针对本地部署的成本收益分析（arXiv:2509.18101）按企业规模和模型尺寸分别算了盈亏平衡点：中等规模部署投入适中、在稳定高吞吐负载下回报可观，是多数企业的现实平衡点；而大规模自建集群尽管精度有竞争力，高昂的硬件与电力成本会显著拉长回本周期，只对有持续大规模推理需求的组织成立。换成一句话：私有化部署的合理动机是”数据不能出域 + 负载稳定且大”，而不是”拥有感”。

成本缺口下的其他立项方向——推理优化（量化、批处理、前缀缓存）、LLMOps 平台（模型版本、提示管理、灰度发布）、多模型路由（贵模型兜底、便宜模型走量）——本质都是同一件事：把每 token 的成本和每次调用的风险，纳入和延迟、准确率同级别的工程指标。

六、立项检查单：先问缺口，再选技术

最后把全文收敛成可操作的决策工具。学术侧已有一个六步决策框架，覆盖医疗、金融、软件等行业的合规与场景差异（arXiv:2511.18589）；结合前文的论文证据，我把它压缩成四个立项问题：

#问题反例（不该立的项）论文依据
1这个项目补的是哪个缺口？ 说不清就是在追名词。“别家都有智能体，我们也要有”2511.18589
2缺口是否真实且用最便宜的手段验证过？ 知识缺口先试 RAG，行动缺口先试短链路。没试过 RAG 就立项训领域大模型2303.17564、2508.14066
3评测先行了吗？ 没有私有评测集，就没有验收标准，也没有迭代方向。用公开榜单分数当验收标准2410.12812、2511.22047
4信任与成本闭环了吗？ 护栏、审计、单位成本要在 POC 阶段就进指标。POC 惊艳、生产环境没人敢上线2507.21504、2509.18101

预设一个反对意见：“都 2026 年了，模型迭代这么快，直接押注全自主 agent 不就行了？“——TheAgentCompany 的 30% 完成率（arXiv:2412.14161）就是对这个问题最诚实的回答：能力曲线确实在涨，但企业立项要押的不是曲线终点，而是”当前完成度 × 出错代价”。让 agent 干 30% 能干的活、用护栏和人审兜住 70% 干不了的部分，本身就是当下最优解，而且这套护栏与评测资产在模型换代后依然值钱。

带走的模型只有一句：知识、行动、信任、成本——四个缺口就是企业大模型建设的全部版图。造价值的项目（前两个）决定天花板，保价值的项目（后两个）决定能不能活着走到生产环境。

参考来源

arXiv 论文

工程实践与行业数据