Agent 知识库推荐使用 SAG2
给 Agent 选本地知识库,为什么推荐 SAG2:建库不调模型,11,656 段 2.36 秒;BM25 加 JEV 多轮找证据,MuSiQue R@10 86.62%;附与传统 RAG 的对比、CLI 接入和部署边界。
先说结论
给 Agent 配知识库,我们现在的默认答案是 SAG2。索引和原文都留在本机,建库不调用模型;提问时才判断哪几段材料算证据,返回的每条结果都能回到原文的具体行。
SAG2 是智跃(Zleap)提出的免嵌入检索架构,论文编号 arXiv:2610.22588,也是开源 Agent 知识库 SAG Wiki 的本地检索方案。对 Agent 来说,能反复查、能核对,比“答得像不像”更重要:答错了要能定位到是哪一段材料出的问题。
一、传统 RAG 卡在哪
传统 RAG 的流程不复杂:切片、算向量、写进向量库,提问时按相似度取 Top-K 交给模型。单轮问答够用,落到 Agent 上,用久了会碰到三个问题。
建库贵。每个切片都要过一次 embedding 模型,文档一改就要重建,Agent 用得越勤,索引维护的负担越重。
要运维的东西多。向量库、索引服务、模型服务各占一套,本地部署时尤其明显。
证据断在切片上。切片把标题和正文切开,模型拿到半句话,Agent 也没法回去确认。
也有人干脆把整篇文档塞进长上下文。省事,但 Token 和噪声跟着文档量一起涨,多轮检索很快就撑不住。
图 1:两条路径的差别不在模型,而在建库时做了什么。
二、SAG2 怎么找证据
SAG2 的循环不长,分建库和检索两段。
建库时,原文先解析、按句子切片(约 512 字符,相邻片段留 80 字符重叠)、分词,写进 SQLite FTS5。标题路径和词项位置一起存下来,不算向量,也不调大模型。论文里的实测是 11,656 段原文 2.36 秒建完,索引 25.87 MiB。
提问后,先拿问题里的词项去召回,BM25 取最多 100 个候选。接着由 JEV 结合原问题和已找到的材料,逐段判断“这段是否提供了回答所必需的事实”,话题相关不算证据。通过判断的段落里再提取词项和完整名称,最多 10 个起点、20 个词项,各自查一遍再合并评分。默认再查两轮,没有新候选就提前结束。最后在本地排序去重,返回前 10 条原文。
图 2:语义判断挪到查询时,建库只剩文本处理。
三、公开基准上的数字
| 场景 | 结果 |
|---|---|
| MuSiQue(1,000 题) | R@10 86.62% |
| 2WikiMultiHopQA(1,000 题) | R@10 97.43% |
| HotpotQA(1,000 题) | R@10 99.00% |
| EnterpriseRAG-Bench(511,962 篇文档、470 题) | 文档 R@10 81.10% |
| 建库开销(11,656 段) | 2.36 秒、25.87 MiB、零模型调用 |
只看首轮时,MuSiQue 的 R@10 是 67.93%,扩展一轮到 83.36%,两轮到 86.62%。多查一轮,比把候选池一次放大更划算。
四、接到 Agent 里
SAG Wiki 提供桌面端、CLI 和现成的 Skill,三者共用同一份索引:
npm install -g @zleap-ai/sag
sag add . # 把当前目录加进知识库
sag "发布流程" . # 检索,返回带路径和行号的原文片段
Agent 装上 SKILL.md 就能查项目资料,需要时再用 read、grep 往下挖。返回结构里有路径、标题、行号和文件哈希,引用和人工核对都够用。检索本身不消耗回答模型的 Token,只有 JEV 判断会产生调用。
五、几条边界
- JEV 是托管服务。 论文写得很直白:判断模型的权重没有公开,只能通过 API 使用,候选片段会发到该服务。所以“本地知识库”指的是索引和原文在本地,不等于完全离线。
- 不能出网的场景要绕开。 纯关键词的快速搜索可以全本地跑;要语义判断就得接受这个外部依赖,或者换成 Qwen3-Reranker、Jina 这类本地 Rerank,但效果和 JEV 有明显差距。
- 基准不等于你的资料。 论文用的是固定测试集,分词、切片、文档质量都会影响实际召回,上线前要拿自己的语料量一遍。
- 召回不等于答对。 检索结果只提供依据,重要结论仍要回原文看适用条件。
- 项目还年轻。 MIT 开源,迭代快,功能范围和稳定性要跟着版本走。
六、怎么落地
先挑一个目录跑快速搜索,确认分词和切片对你的文档友好;再打开 SAG2,重点看那些要跨文件才能答的“多跳”问题;同时准备 30~50 条带标准答案的问题当评测集,记录 R@10 和失败类型。
给 Agent 用的知识库,关键是能不能稳定找到同一份证据,并且让你查到它为什么这么答。SAG2 是我们本地部署里最省事的一条路。
FAQ
Q:SAG2 需要向量数据库吗?
A:不需要。原文和词项索引放在一个 SQLite 文件里,不开向量库,也不用单独部署数据库服务。
Q:能完全离线使用吗?
A:索引和原文在本地,但 SAG2 的证据判断要调 JEV 服务。只在关键字检索、不开深入检索的情况下可以纯本地跑;涉密资料要先确认这一层的数据边界。
Q:它和传统 RAG 最大的区别是什么?
A:建库时不调模型、不生成向量;语义判断放到查询时,由 JEV 逐段判证据,再顺着证据里的词项继续找。返回的是原文片段和位置,不是拼好的上下文。
Q:多大的资料量适合用?
A:官方基准覆盖到 51 万篇文档。实际选型别只看这个数,先用自己的语料量一遍召回,重点看分词、切片和文档质量。
