英伟达把检索三件套开源了，做 Agent 算账绕不开这个
Jx搞事日记 · 2026-10-25T12:00:06
做 Agent 跑知识库，Token 账本很大一部分其实在问答之前就被决定了。英伟达把 Nemotron Retriever 这套检索模型开源并允许商用，把文档解析、嵌入和重排序三个环节一口气端了出来。 里面最直接的是成本账。上游找不准，塞进上下文的废话就多；英伟达自家测试给出的数据是，换上这套更准的检索，能让 Agent 的 Token 开销降大概 14%。具体配置上，负责文档图像解析的 Parse 大约 6.3 亿参数，负责把版面、OCR 和阅读顺序理清；Embed 给了 1B 和 8B 规格，加上 8B 的 Rerank 做精排，支持文本、表格、图表和页面图像搜索，也能走 Sentence Transformers 这类常见生态。做具体落地时，把这套底座接进自己的私有流里，能省下不少反复调优和烧调用的钱。