私有化 RAG 知识库落地指南:从文档治理到上线验收
企业私有化 RAG 知识库的完整落地方法:文档接入、切分、向量检索、重排、引用生成、评估、权限与验收清单,附常见失败原因。
先说结论
RAG 项目失败,大多数不是模型不够强,而是:
- 文档没有治理,扫描件、旧版本、重复文件全进库
- 切分只按固定字数,标题和正文被切散
- 只做向量检索,没有关键词召回和重排
- 没有评估集,上线后只能靠“感觉”
- 权限没做,员工能搜到不该看的文件
能上线的私有化 RAG,要做到文档可检索、可引用、可追责;接哪个大模型是后面的事。
一、先判断适不适合 RAG
适合:
- 制度、法规、审计依据、产品手册、售后知识、培训资料
- 问题有明确依据,需要给出出处
- 文档会更新,但不能每次重训模型
- 数据不能出内网,必须私有化
不适合:
- 需要实时交易、强计算、强流程执行
- 文档量很少,直接搜索或人工查更快
- 没有可用的电子文档,全是手写/低质量扫描件
- 业务方不愿意维护知识库,只想“上个 AI”
二、整体架构
文档源(PDF/Word/网页/数据库)
→ 解析与 OCR
→ 清洗、去重、版本标记
→ 切分(按标题/段落/表格)
→ 向量化 + 关键词索引
→ 混合检索(BM25 + 向量)
→ 重排(Rerank)
→ 组装上下文 + 引用
→ LLM 生成
→ 权限过滤、审计、反馈
私有化部署时,每一层都可以替换成内网组件,不要一上来追求“全家桶”。
三、文档治理:最容易被跳过的一步
1. 文档清单
先盘清楚:
| 维度 | 要确认的事 |
|---|---|
| 来源 | 文件服务器、OA、Wiki、数据库、邮件 |
| 格式 | PDF、Word、Excel、扫描件、图片 |
| 版本 | 是否有多个版本、哪版有效 |
| 权限 | 哪些部门/角色可见 |
| 更新 | 谁维护、多久更新一次 |
| 质量 | 是否可复制文本、是否有 OCR 价值 |
没有清单就开始切分,后面一定返工。
2. 解析与 OCR
- 文本型 PDF:直接抽取,保留页码
- 扫描件:OCR,保留置信度和原图位置
- Word/HTML:保留标题层级
- 表格:单独抽取为结构化文本,不要和正文混在一起
- 图片:能 OCR 的 OCR,不能的存元数据
解析质量决定上限。OCR 错字太多,后面换再好的模型也救不回来。
3. 清洗与去重
- 去掉页眉页脚、水印、目录、重复段落
- 同一文档多版本,只保留有效版本,旧版本打标签
- 相似文档做去重,避免检索结果全是重复内容
- 保留来源、页码、章节、更新时间,后面引用要用
四、切分策略
不要只按 500 字硬切。推荐“结构优先,长度兜底”:
- 先按标题层级切(章 → 节 → 条)
- 超长段落再按语义/长度切,建议 300–800 字
- 相邻块保留 10%–20% 重叠,避免上下文断裂
- 表格、代码、清单单独成块,不要切断
- 每个块带上:文档标题、章节路径、页码、版本、权限标签
一个块的元数据示例:
{
"doc_id": "audit-rule-2026",
"title": "审计定性依据汇编",
"section": "第三章 违规处理",
"page": 42,
"version": "2026-09",
"acl": ["audit-team", "compliance"],
"text": "……"
}
五、检索:混合检索比纯向量稳
1. 向量模型
中文场景常用:
- BGE 系列(bge-m3、bge-large-zh)
- Qwen embedding
- 其他开源/商用 embedding
选型看:中文效果、维度、推理成本、是否支持私有化。不要只看榜单,用自己的评估集测。
2. 向量库
| 方案 | 适合 |
|---|---|
| pgvector | 已有 PostgreSQL,数据量中等 |
| Milvus | 大规模向量、独立部署 |
| Qdrant | 轻量、过滤条件多 |
| Elasticsearch | 已有 ES,想同时做全文和向量 |
| 专用 SaaS | 快速验证,但私有化受限 |
3. 混合检索
只用向量会漏掉专有名词、编号、法规条款;只用关键词会漏掉同义表达。建议:
最终得分 = 向量相似度 × 0.6 + BM25 得分 × 0.4
再取 Top 20–50 做重排,最后给模型 5–10 个块。权重用评估集调,不要拍脑袋。
4. 重排
Rerank 模型(如 bge-reranker)能把“看起来相关但答非所问”的块压下去。检索召回 50 条,重排后取前 5–8 条,通常比直接取向量 Top 5 稳。
六、生成:引用和拒答同样重要
Prompt 里至少要约束:
- 只根据给定资料回答
- 每个结论给出处(文档名 + 章节/页码)
- 资料不足时明确说“未找到依据”,不要编
- 区分“制度规定”和“建议”
- 输出结构固定,方便前端展示
示例:
你是企业知识库助手。请只依据 <context> 回答。
要求:
1. 先给结论,再给依据;
2. 每个依据标注文档名、章节和页码;
3. 如果 context 中没有足够信息,回答“未找到明确依据”,并说明还缺什么;
4. 不要补充 context 之外的事实。
模型选择:
- 私有化:Qwen、DeepSeek、Llama 等开源模型,按显存和并发选参数量
- 内部试点:可以用 API,但敏感数据要脱敏
- 不要用“最大模型”解决所有问题,延迟和成本会失控
七、评估:没有评估集就没有上线
1. 建一套 100–300 条的金标问答
覆盖:
- 高频问题
- 长尾/跨文档问题
- 需要拒答的问题
- 权限边界问题
- 多版本冲突问题
每条标注:标准答案、依据文档、可接受回答范围。
2. 指标
| 指标 | 看什么 |
|---|---|
| Recall@K | 正确依据有没有被召回 |
| MRR / NDCG | 正确依据排得靠不靠前 |
| Faithfulness | 回答是否忠于资料 |
| Answer Correctness | 答案是否正确 |
| 拒答准确率 | 该拒答时有没有编 |
| 延迟 / 成本 | 首 token、完整回答、单次成本 |
3. 迭代顺序
先修解析和切分,再调检索,再调 Prompt,最后才换模型。大部分问题在前两层。
八、权限、安全与合规
- 文档级 ACL:检索前过滤,不要生成后再遮
- 部门/角色隔离:不同部门的知识库分开
- 敏感字段脱敏:身份证、手机号、薪资等
- 审计日志:谁问了什么、命中了哪些文档
- 私有化:模型、向量库、OCR 都在内网
- 数据留存:对话记录保存多久,谁能看
权限一定要在检索层做。靠 Prompt 说“不要回答机密”是不可靠的。
九、交付周期与团队
一个中等规模的企业知识库,常见节奏:
| 阶段 | 周期 | 产出 |
|---|---|---|
| 需求与文档盘点 | 1–2 周 | 文档清单、场景清单、验收标准 |
| 解析与切分 | 1–2 周 | 可检索的文档库、元数据 |
| 检索与生成 | 2–3 周 | 问答 MVP、引用展示 |
| 评估与调优 | 1–2 周 | 评估报告、问题清单 |
| 权限与上线 | 1–2 周 | 权限、审计、部署、培训 |
团队至少需要:业务方(定义问题)、文档维护人、后端/算法、前端、运维。一个人全包也能做 MVP,但上线后的知识维护才是长期成本。
十、验收清单
- 文档清单、版本、权限已确认
- 扫描件 OCR 质量抽检通过
- 切分保留标题、页码、章节
- 混合检索 + 重排已启用
- 回答带引用,能点回原文
- 无依据时会拒答
- 权限在检索层生效
- 有 100+ 条评估集和基线报告
- 延迟、并发、成本压测通过
- 日志、审计、反馈入口可用
- 文档更新流程和责任人明确
常见失败原因
- 只做 Demo,不做评估:演示 10 个问题都答对,上线后长尾全崩。
- 文档不治理:旧版本、重复文件、扫描件混在一起。
- 切分太碎或太大:太碎丢上下文,太大召回不准。
- 只用向量:编号、条款、专有名词搜不到。
- 没有引用:用户无法验证,信任建立不起来。
- 权限后置:先生成再遮,已经泄露了。
- 把 RAG 当万能:需要计算、流程、实时数据的问题,应该走工具/API,而不是硬答。
FAQ
Q:一定要私有化吗?
A:看数据。公开资料可以用 API;涉及客户、财务、审计、人事的,优先私有化或专有实例。
Q:文档量多大才值得做?
A:不是看文档量,而是看“检索成本”和“回答一致性”。几十份高频制度也能做,几千份低质量扫描件反而难。
Q:能不能不建评估集?
A:可以上线,但没法判断好坏,也没法做版本对比。至少建 100 条。
Q:RAG 和微调怎么选?
A:知识频繁更新、需要引用 → RAG;固定风格/格式、标注数据充足 → 微调。多数企业先做 RAG。
