Nomic Embed 论文精读:好向量是怎样训练出来的

沿 arXiv 2402.01613v2 拆解 Nomic Embed 的三阶段训练。用可运行的小实验解释相对排名筛选、困难负样本、GradCache 与长文信息稀释,再核对论文榜单的真实边界。

问一句“如何撤销订单”,你想找的是另一种问法,还是能解决问题的操作说明?两者都可能很像原句,检索系统却必须作出不同选择。

Embedding 学到的,是训练任务规定的“什么应该靠近什么”。 读完 Nomic Embed,我认为最值得带走的是这个判断。把它当成通用语义坐标,会漏掉训练配方里真正决定质量的部分:谁充当正例、谁被当成负例、当前在做什么任务,以及长文里哪些信息能留下。

本文精读 Nussbaum 等人的技术报告 v2,对象是 nomic-embed-text-v1。论文初版发表于 2024 年 2 月,v2 修订于 2025 年 2 月;这里讨论其历史实验,不把表里的模型排名当成今天的选型榜。版本记录

名词速查

术语在本文里是什么意思
Embedding / 向量把一段文字变成一串数字,用数字之间的接近程度检索文字
双编码器问题和文档分别编码,因此文档向量可以提前计算并存起来
正例 / 负例对当前问题有用的文档 / 训练时要求与它区分开的文档;训练标签也可能判错
困难负例很像答案、但被标为不相关的文档,比完全不搭边的文档难区分
Batch / 批一次共同计算训练损失的一组样本;其中的其他文档还能充当负例
Pooling / 汇聚把多个 token 的表示合成一个文档向量,例如求平均
RoPE用随位置变化的旋转标记词序,详见从小向量理解 RoPE
MTEB / LoCo前者覆盖多类向量任务,后者在本文中是长文检索测试;分数不能跨基准直接比较

先把它放回检索系统

在检索增强生成(RAG)里,embedding 位于“把资料找回来”的环节。它负责产生候选,后面还可能有更精细的重排和大模型回答。若这层没找回证据,后续生成就失去了材料。整个系统的分工可接着看向量数据库、RAG 与记忆。

Nomic Embed 这篇论文要解决的是:能否用一个较小的编码器,同时处理短文本和长文,并让别人知道它究竟怎样训练出来?论文给出的模型规模是 137M 参数,推理上下文上限为 8192 token。论文 §1、§4

理解它只需盯住四个活动部件:

部件控制什么改变它会怎样;坏掉会怎样
数据与筛选器哪些文本被认为应该相关丢掉好正例会缩窄覆盖;留下错正例会教错关联
任务前缀当前需要“措辞相似”还是“能回答问题”任务不明确,相同输入就可能收到互相冲突的训练要求
负例与候选集合模型究竟要把正例和谁分开太简单就学不到细区别;假负例会把真实关联推远
位置与汇聚方式能读多长、最后保留什么长度上限解决截断,单个向量仍可能丢失局部证据

这四件事相互牵动。增加 batch 会增加比较对象,也增加撞上假负例的机会;放宽输入长度会减少截断,却让更多内容竞争同一个文档表示。

我的根本解释是:Nomic Embed 之所以需要任务前缀,是因为同一段文字的最佳近邻会随任务改变。 如果改写匹配、问答和聚类永远共享同一种相关性顺序,这个任务条件就没有必要。

它对应一个更老的想法:度量学习——根据任务学习“谁与谁接近”。Nomic 的贡献,是把这种学习连同语言预训练、数据治理和长上下文工程,组织成一套可检查的配方。

三阶段训练:读懂文字、学会比较、校准难题

论文不是从一个现成的短文本句向量模型直接改长度。它先训练语言编码器,再训练向量关系,最后进行有监督微调。

flowchart TD
  A[书籍与维基文本] --> B[遮词预测:训练 nomic-bert-2048]
  C[约 4.7 亿弱关联文本对] --> D[gte-base 一致性筛选]
  D --> E[约 2.35 亿文本对]
  B --> F[弱监督对比预训练]
  E --> F
  F --> G[约 160 万监督样本与负例微调]
  G --> H[nomic-embed-text-v1]
  H --> I[推理时将位置表示扩展到 8192]

第一阶段,遮词预测。 例如把“退款需要三个工作日”里的“退款”遮住,让编码器结合两边文字补回去。论文用 BooksCorpus 和维基百科训练 nomic-bert-2048,最大长度 2048,遮盖率 30%。这一步学习语言结构,还没有直接要求“两篇相关文档的整句向量必须接近”。论文 §4.1

底座也做了工程调整:用 RoPE 替代绝对位置表,采用 SwiGLU 门控激活和 FlashAttention,关闭 dropout,并让词表大小对齐到 64 的倍数。SwiGLU 调整的是层内信息通过的方式;FlashAttention 调整注意力的执行和内存访问。它们各有作用,但不能仅凭最终成绩判断每一项贡献了多少。

第二阶段,弱监督对比预训练。 “标题—正文”“问题—回答”“论文标题—摘要”能大量收集,但不保证每一对都可靠。作者从 29 个数据集整理约 4.7 亿对,筛选后留下约 2.35 亿对,用 16,384 的全局 batch 训练一个 epoch,也就是完整遍历一次训练数据。论文 §4.2.1–4.2.2

第三阶段,有监督对比微调。 使用约 160 万样本,batch 降到 256,每对搭配 7 个负例,再训练一个 epoch。检索数据从 gte-base 找到的前 20 个非标注正文候选中随机采样;非检索数据则使用随机负例。作者报告,继续增加负例或训练多轮没有带来相应收益,多轮训练反而损伤表现。论文 §4.2.4–4.2.5

这个分工很像先学语言,再做大量辨认练习,最后用容易混淆的题纠偏。最后一步更精细,却不意味着它对每类任务都会更好;后面的消融结果正好能检查这一点。

一致性筛选:为什么“分数超过阈值”不够

给定一个声称相关的文本对,作者用 gte-base 编码两边,检查标注正文能否排进候选中的前二。论文描述了百万规模采样候选的过程;它不是在全部 2.35 亿正文上逐条做全量近邻搜索。没有进入前二的文本对会被丢弃。论文 §4.2.1

为什么不用“余弦相似度大于 0.5 就留下”?因为一个绝对分数同时混着任务难度、文本类型和模型的分数分布。作者报告,阈值筛选会丢掉一些词面重合少、但确实相关的好样本;他们最终选择了排名筛选。

我用一个自造例子检查两种规则的区别。下面的分数是人为指定的,不是 gte-base 实测。复制到终端即可运行,只需 Python 标准库。

python3 - <<'PY'
for name, scores in [
    ("low_absolute", [0.42, 0.41, 0.10]),
    ("high_absolute", [0.82, 0.91, 0.90]),
]:
    # 第一个分数属于标注正例;其余是竞争正文。
    rank = 1 + sum(s > scores[0] for s in scores[1:])
    print(name, f"rank={rank}",
          f"threshold_keep={scores[0] >= 0.50}",
          f"top2_keep={rank <= 2}")
PY

我实际运行得到:

low_absolute rank=1 threshold_keep=False top2_keep=True
high_absolute rank=3 threshold_keep=True top2_keep=False

第一行的正例只有 0.42,却已经是候选里最好的;阈值规则删掉它。第二行有 0.82,但还有两个更像的候选;排名规则会认为这条配对值得怀疑。

两种筛法问的是不同的问题:绝对阈值问“够不够像”,相对排名问“在这组竞争者里是否足够可信”。 0.50 在这里只是构造反例的示例阈值,论文没有把它作为采用的超参数。

排名也没有获得裁判真理的能力。第二行中排在前面的两篇,完全可能也是有效答案。候选池换了、教师变了,留下来的数据就可能改变。因此“一致性”准确地说,是与筛选模型及候选集合一致,而不是经过人工确认的事实正确。

我认为复用这套方法时,第一件事应是人工抽查被删掉的低词面重合样本。只检查留下的样本,会看见精度,却看不见教师系统性删掉了什么。

最小数学基础:把相关性变成一场选择题

向量先不神秘化。假设问题被编码为 (1, 0),正文 A 为 (0.8, 0.6)。两者长度都是 1,对应位置相乘再相加,得到 1×0.8 + 0×0.6 = 0.8。这就是这个小例子的余弦相似度:方向越一致,分数越高。

一般向量需要先除以自身长度,变成单位向量,称为 L2 归一化。它避免“数字整体比较大”直接冒充“方向更相关”。点积和归一化的基础也可回看Attention 的小数值讲解。

训练时还需要把多个分数变成选择概率。假设正例得 0.8,两个负例得 0.1 和 0,取一个示例温度 0.1:

  1. 除以温度,得到 8、1、0。温度越低,分数差距会被放得越大。
  2. 分别取指数,再除以指数的总和。这种“变正数、再按总量分配”的操作叫 softmax。
  3. 正例的概率约为 0.998754。取它的负自然对数,得到约 0.001247,作为损失;概率越接近 1,损失越接近 0。

这些数字已用下节脚本验算。负对数只是把“正例选得不够确定”转成一个要压低的数,不需要先学完微积分才能理解训练意图。

对于一个问题,InfoNCE 的核心形式就是:

ℓ=−log⁡exp⁡(s+/τ)exp⁡(s+/τ)+∑jexp⁡(sj/τ).\ell=-\log\frac{\exp(s_+/\tau)}{\exp(s_+/\tau)+\sum_j\exp(s_j/\tau)}.

这里 s+ 是正例分数,sj 是负例分数,τ 是温度。全批损失再对各问题求平均。Nomic 采用问题到文档的单向对比目标,并在监督阶段加入额外负例。论文 §3.2–3.3

注意分母:它是这批候选。这个概率不是“文档在现实里有多大概率正确”,相似度 0.8 也不是“80% 正确率”。

我跑的损失实验:困难负例为什么既有用又危险

固定正例分数 0.8,只改变其中一个负例:从 0.1 改到 0.75,再改到 0.8。以下代码直接计算损失,以及损失对那个负例分数的导数。导数为正,表示减小该分数可以降低损失;它只描述分数层的压力,不等于模型参数最终移动的幅度。

python3 - <<'PY'
import math

def measure(scores):
    tau = 0.1  # 教学示例,不是声称论文采用此值。
    logits = [s / tau for s in scores]
    # 同减最大值保持概率不变,避免指数数值过大。
    weights = [math.exp(x - max(logits)) for x in logits]
    probs = [w / sum(weights) for w in weights]
    return probs[0], -math.log(probs[0]), probs[1] / tau

for name, scores in [
    ("easy", [0.8, 0.1, 0.0]),
    ("hard", [0.8, 0.75, 0.0]),
    ("false_negative", [0.8, 0.8, 0.0]),
]:
    p, loss, gradient = measure(scores)
    print(f"{name}: p_positive={p:.6f}, loss={loss:.6f}, "
          f"dL_dnegative={gradient:.6f}")
PY

实际输出:

easy: p_positive=0.998754, loss=0.001247, dL_dnegative=0.009107
hard: p_positive=0.622329, loss=0.474286, dL_dnegative=3.774619
false_negative: p_positive=0.499916, loss=0.693315, dL_dnegative=4.999161

容易负例几乎不再提供区分压力。换成很像正例的文档,模型就必须更认真地分辨。

第三行最值得停一下:如果那个负例其实也是正确答案,损失仍然会强烈要求压低它的分数。 数学并不知道标签错了。false_negative 是我对这行情形的语义设定,公式看到的始终只是一个负例。

这也解释了为什么“困难”不能单独作为数据价值的保证。论文从挖掘的候选中随机抽样,而非始终取最靠前的几个;作者将部分收益归因于挖掘结果里存在假负例。随机抽样可以改变接触这些样本的频率,却不能保证消除标签错误。

把最朴素的训练做法换进来,崩点很具体:只用正例而没有任何竞争项时,分子与分母相同,正例概率恒为 1,损失恒为 0,无法学习“应该区别于谁”。全部换成非常简单的负例,又会像第一行一样很快缺乏有效压力。

反过来,持续追逐分数最高的“负例”,可能优先放大错标。这个小实验给我的取舍是:在增加困难负例之前,先抽查高分负例中有多少其实也能回答问题。

大 batch 和 GradCache:不能只数累积了多少样本

论文的弱监督 batch 是 16,384。若每个问题都与本批所有正文比较,一个问题会看到 16,383 个其他正文。按此完整比较方式验算,分数矩阵有 16384² = 268,435,456 个元素;仅用 float32 存分数就占 1 GiB。这是算术规模,不是该实现的实测显存,矩阵可以分块计算。

更大的开销还包括编码器反向传播需要保留的中间结果。论文因此使用 GradCache。论文 §4.2.2

这里容易混淆两件事:

  • 普通梯度累积:分别在小批上算损失,把参数梯度加起来。
  • GradCache:先分块取得整个大批的向量,在大批候选上计算对比损失与向量梯度,再分块重算编码器,把这些梯度传回模型。

关键区别是分母有没有见到跨小批的候选。按上面的公式,我验算固定正例 0.8、小批负例 0.1 时,损失是 0.000911;把另一个小批里的高分负例 0.79 纳入同一个分母,损失变为 0.644875。两者优化的题目已经不同。

所以“累积若干次,小 batch 就等于大对比 batch”需要额外条件,不能只靠有效 batch 的乘法。完整机制见 GradCache 原论文:它把损失到向量、向量到编码器参数这两段反向传播拆开,以重算换取较少的编码器激活驻留。

Nomic 还有一个细节:每批只从同一个数据源采样。我的理解是,混合领域时,模型可能只需认出“这是论文、那是评论”,就能排除很多负例;同源竞争更难靠领域标签过关。这是论文所说避免来源捷径的一种直观解释,不是本文额外做出的训练消融。

前缀是任务条件:相同文本不必共享同一种排序

回到开头的“如何撤销订单”。这两个候选分别适合不同目标:

  • “订单怎样取消?”——适合寻找同义问题。
  • “进入订单详情,在发货前点击取消。”——适合寻找回答。

若模型只能看到原句,没有任务条件,就很难知道这次该偏向谁。Nomic 为此使用四种训练前缀。论文 §4.2.2

前缀含义与使用位置
search_query:把后面的文字当作需要找到答案的问题
search_document:把后面的文字当作能被检索到的资料
classification:表示分类相关用途;论文也把它用于语义相似度等评测
clustering:把文字用于按主题分组,对称任务两边使用相同前缀

例如官方模型卡要求检索时这样准备输入:

search_query: How can I cancel an order?
search_document: Open the order details and cancel before dispatch.

这里保留英文示例,因为论文评估的是英文模型。冒号和后面的空格遵循官方模型卡的用法。search_query 和 search_document 不能为了输入看起来整齐就随意互换:它们把问题与资料的角色传给同一套编码器。

“双编码器”不要求两边一定使用不同权重;这里的重要条件是可以分别编码。共享模型配合不同前缀,仍能表达角色差异。

前缀也不会凭空创造能力。它之所以有效,是训练曾让这些输入形式对应不同目标。对于一个没这样训练的模型,随手写上同样字符串,并不能保证获得相同行为。

8192 是外推能力,长文检索还多一道关

论文明确写道:所有训练阶段的最大长度都是 2048;超过这个长度时,推理使用 Dynamic NTK 扩展到 8192,α 设为 2。 因此不能把它描述成“原生用 8192 长序列完成训练”。论文 §4.1.2、§5.2.2

把 RoPE 想成一组给位置计数的钟。长文本走到训练没见过的位置,原有计数方式可能不再适合模型。动态扩展会在超过训练长度时调整位置旋转的基底,让更长距离落进较可用的表示范围;在原长度以内保留原方案。它处理的是位置表示问题,不能直接保证所有远距离语义都被正确整合。

作者也加入了维基标题—正文、S2ORC 摘要—正文这样的数据。不过“数据来源是长文”与“单次训练完整读过 8192”要分开:前者描述配对来源,后者受训练长度限制。

我把附录 B 这两类的数据点数相加,再除以总数,得到 (6,389,760 + 6,078,464) / 234,553,344 ≈ 5.32%。这是按配对条数算的比例,不是长 token 的比例,也不证明剩余数据里没有长样本。它提示我们:这套配方的大部分训练对仍来自其他来源,不能只用“加入长文数据”解释全部结果。

计算也不会因为修改位置参数而免费。把输入从 2048 拉到 8192,长度变为四倍,完整注意力的成对交互数变为十六倍。FlashAttention 减少显存读写和中间存储,却没有把这些交互全部取消;十六倍也不是实测耗时倍率。

更隐蔽的问题是:读进来以后,最后仍要压成一个文档向量。 官方模型卡的 Transformers 示例使用带掩码的平均汇聚,即只对有效 token 求平均。官方推理示例

我做的反例:全文更完整,关键证据反而更淡

设查询方向为 (1, 0),唯一相关 token 也是 (1, 0);其余 k 个 token 都是无关方向 (0, 1)。平均汇聚后,文档方向与 (1, k) 相同,因此和查询的余弦相似度是:

s=11+k2.s=\frac{1}{\sqrt{1+k^2}}.

这是对固定 token 向量做平均的反例,不是在模拟 Nomic 的真实注意力。真实模型的每个 token 会结合上下文变化;这里仅检验“多输入一些文字是否必然更利于检索”这个命题。

python3 - <<'PY'
import math
for k in [0, 1, 9, 99]:
    print(f"distractors={k}: cosine={1/math.sqrt(1+k*k):.6f}")
PY

实际输出:

distractors=0: cosine=1.000000
distractors=1: cosine=0.707107
distractors=9: cosine=0.110432
distractors=99: cosine=0.010100

到 9 个同方向干扰 token,相关度已经从 1 降到约 0.11。注意,损失不只是平均时除以长度造成的;即使最后再归一化,文档的方向也已经被干扰内容带走。

我从这个例子得到的工程判断是:文档级召回适合判断整篇是否相关,局部证据检索则仍可能需要分块、局部重排或多向量表示。8192 上限让“整篇输入”成为可选项,却不能替你决定检索单位。

如果你的问答经常问长文里的某一条退款例外,五分钟内就能启动一个检查:选一段有答案的文字,分别单独索引、加同主题背景、加无关背景,固定查询和其他候选,记录相关文档的排名。本文没有运行真实模型的这个对照;上面的反例只说明它值得被测。

回到结果:哪些结论真的被表格支持

下表抄录论文 Table 1 的报告值,属于作者实验,不是本文重新跑出的模型成绩。论文 Table 1

模型MTEBLoCoJina 长文基准
Nomic Embed v162.3985.5354.16
Nomic v1 ablated61.3686.8953.53
Jina v2 base60.3985.4551.90
text-embedding-ada-00260.9952.7055.25
text-embedding-3-small62.2682.4058.21

我用减法核算,Nomic 相对表中 3-small 的差分别是 +0.13、+3.13、−4.05 分。因此,“在 MTEB 和 LoCo 上更高”有表格支持;“长文能力全面超过”没有。

MTEB 的这次评测把文本截到 512 token。它证明的是该设置下多种向量任务的综合表现,并没有验证 8192 的信息利用率。0.13 分的平均优势也没有附带足以在本文判断统计显著性的重复实验信息,不宜写成明显领先。论文 §5.2.1

LoCo 也要继续拆。Table 6 中 Nomic 的整体分数从 2048 的 85.3 到 8192 的 85.5,但 Tau QMS 子任务从 47.8 降到 44.2。更长输入对不同任务的作用方向并不相同。作者还提醒,QASPER 摘要—文章任务的若干结果接近满分,可能不足以区分长文能力。论文 Table 6、§5.2.4

如果对“整体分数掩盖了什么”有兴趣,可以结合检索指标的逐项手算看:先确定每个子任务测什么,再决定平均数对自己的场景有没有意义。

Ablated 版本揭示的不是简单的退步

论文的 ablated 版本从监督微调中去掉 FEVER、HotpotQA 和 MEDI,回应部分训练数据与评测任务分布重叠的问题。这不是声称发现了直接使用测试答案,也不能把它当成完全控制变量的单因素实验:它同时改变了训练数据组成。论文 §4.2.4

按 Table 1 验算,ablated 的 MTEB 比完整版低 1.03 分,LoCo 却高 1.36 分。我认为这比“监督微调提升总分”更有解释力:微调把相关性空间推向特定任务分布,也可能削弱另一类任务。

它不支持“删这三个数据源必然更好”的结论,却足以反驳“追加高质量监督数据,所有用途都会一起变好”。做自己的微调时,保留一个与训练任务不同的评测切片,会比只看目标榜单多发现一类退化。

读论文也要核算作者的算术

§5.2.4 把 E5-Mistral 描述为约大 70 倍。但按 Table 1 列出的 7B 和 137M,7000 / 137 ≈ 51.09,本文采用约 51 倍参数量,不沿用 70 倍。参数倍率本身也不能直接换成延迟、显存或成本倍率。

Table 1 与 Table 5 还有一处小的不一致:3-small 的 Jina 长文分数前者为 58.21,后者长输入行约为 58.3。上面的差值统一按 Table 1 计算,不把两个表的精度混用。两种写法都不改变 Nomic 在这一项落后的方向。

这些核算可直接复现,不需要模型或 GPU:

python3 - <<'PY'
print("parameter_ratio", round(7000 / 137, 2))
print("Nomic_minus_3small", [round(a-b, 2) for a, b in
      zip([62.39, 85.53, 54.16], [62.26, 82.40, 58.21])])
print("ablated_minus_full", [round(a-b, 2) for a, b in
      zip([61.36, 86.89], [62.39, 85.53])])
print("long_pair_percent", round((6389760+6078464)/234553344*100, 2))
PY
parameter_ratio 51.09
Nomic_minus_3small [0.13, 3.13, -4.05]
ablated_minus_full [-1.03, 1.36]
long_pair_percent 5.32

“可复现”究竟把什么交给了读者

论文最耐久的贡献,是把编码器、训练代码、数据配方和模型权重一起放到读者面前。比起只有权重,这允许我们追问:好表现来自什么样的过滤、负例、训练来源和评测规则。

但公开产物与已经独立复现是两种状态。本文实际运行的是文中的数学与规则实验,没有重训 137M 模型。附录 A 报告的训练资源为单台 8×H100 节点,语言预训练约 4 天、对比预训练约 3.5 天,最后微调约 1 小时;这是作者给出的资源描述,不是本文的耗时记录。论文附录 A

截至本次阅读,contrastors 仓库的数据访问说明仍要求注册并通过 nomic 客户端登录获取访问凭据。这表明数据有明确访问流程;本文没有登录下载训练集,不能替读者确认完整数据在其环境中的可得性。

若要独立恢复论文实验,我会先固定四类产物:权重与代码版本、数据及筛选版本、训练配置、评测切分与前缀规则。尤其不要把今天更新过的推理 API、仓库新增功能或 v1.5 的可截断向量能力,直接算成本文 v1 已验证的能力。本站的向量压缩实测使用 v1.5,属于另一项实验。

小结

同一句话在“找改写”和“找答案”时,应当靠近不同材料,所以向量训练需要明确任务。 比较对象决定学什么:没有负例,损失失去区分信号;把真答案错当负例,又会认真学错。 长文装得进去以后,还要验证关键证据有没有被压淡,长度上限不能代替检索质量。 下一次排查召回失败,先花五分钟找一条具体查询,检查前缀、被判错的候选和证据长度,再决定是否换模型。

参考来源

arXiv 与学术论文

工程实践