← 返回博客列表
RAG知识库私有化部署LLM

私有化 RAG 知识库落地指南:从文档治理到上线验收

企业私有化 RAG 知识库的完整落地方法:文档接入、切分、向量检索、重排、引用生成、评估、权限与验收清单,附常见失败原因。

鲸码研发团队9 分钟阅读

先说结论

RAG 项目失败,大多数不是模型不够强,而是:

  1. 文档没有治理,扫描件、旧版本、重复文件全进库
  2. 切分只按固定字数,标题和正文被切散
  3. 只做向量检索,没有关键词召回和重排
  4. 没有评估集,上线后只能靠“感觉”
  5. 权限没做,员工能搜到不该看的文件

能上线的私有化 RAG,要做到文档可检索、可引用、可追责;接哪个大模型是后面的事。

一、先判断适不适合 RAG

适合:

  • 制度、法规、审计依据、产品手册、售后知识、培训资料
  • 问题有明确依据,需要给出出处
  • 文档会更新,但不能每次重训模型
  • 数据不能出内网,必须私有化

不适合:

  • 需要实时交易、强计算、强流程执行
  • 文档量很少,直接搜索或人工查更快
  • 没有可用的电子文档,全是手写/低质量扫描件
  • 业务方不愿意维护知识库,只想“上个 AI”

二、整体架构

文档源(PDF/Word/网页/数据库)
  → 解析与 OCR
  → 清洗、去重、版本标记
  → 切分(按标题/段落/表格)
  → 向量化 + 关键词索引
  → 混合检索(BM25 + 向量)
  → 重排(Rerank)
  → 组装上下文 + 引用
  → LLM 生成
  → 权限过滤、审计、反馈

私有化部署时,每一层都可以替换成内网组件,不要一上来追求“全家桶”。

三、文档治理:最容易被跳过的一步

1. 文档清单

先盘清楚:

维度要确认的事
来源文件服务器、OA、Wiki、数据库、邮件
格式PDF、Word、Excel、扫描件、图片
版本是否有多个版本、哪版有效
权限哪些部门/角色可见
更新谁维护、多久更新一次
质量是否可复制文本、是否有 OCR 价值

没有清单就开始切分,后面一定返工。

2. 解析与 OCR

  • 文本型 PDF:直接抽取,保留页码
  • 扫描件:OCR,保留置信度和原图位置
  • Word/HTML:保留标题层级
  • 表格:单独抽取为结构化文本,不要和正文混在一起
  • 图片:能 OCR 的 OCR,不能的存元数据

解析质量决定上限。OCR 错字太多,后面换再好的模型也救不回来。

3. 清洗与去重

  • 去掉页眉页脚、水印、目录、重复段落
  • 同一文档多版本,只保留有效版本,旧版本打标签
  • 相似文档做去重,避免检索结果全是重复内容
  • 保留来源、页码、章节、更新时间,后面引用要用

四、切分策略

不要只按 500 字硬切。推荐“结构优先,长度兜底”:

  1. 先按标题层级切(章 → 节 → 条)
  2. 超长段落再按语义/长度切,建议 300–800 字
  3. 相邻块保留 10%–20% 重叠,避免上下文断裂
  4. 表格、代码、清单单独成块,不要切断
  5. 每个块带上:文档标题、章节路径、页码、版本、权限标签

一个块的元数据示例:

{
  "doc_id": "audit-rule-2026",
  "title": "审计定性依据汇编",
  "section": "第三章 违规处理",
  "page": 42,
  "version": "2026-09",
  "acl": ["audit-team", "compliance"],
  "text": "……"
}

五、检索:混合检索比纯向量稳

1. 向量模型

中文场景常用:

  • BGE 系列(bge-m3、bge-large-zh)
  • Qwen embedding
  • 其他开源/商用 embedding

选型看:中文效果、维度、推理成本、是否支持私有化。不要只看榜单,用自己的评估集测。

2. 向量库

方案适合
pgvector已有 PostgreSQL,数据量中等
Milvus大规模向量、独立部署
Qdrant轻量、过滤条件多
Elasticsearch已有 ES,想同时做全文和向量
专用 SaaS快速验证,但私有化受限

3. 混合检索

只用向量会漏掉专有名词、编号、法规条款;只用关键词会漏掉同义表达。建议:

最终得分 = 向量相似度 × 0.6 + BM25 得分 × 0.4

再取 Top 20–50 做重排,最后给模型 5–10 个块。权重用评估集调,不要拍脑袋。

4. 重排

Rerank 模型(如 bge-reranker)能把“看起来相关但答非所问”的块压下去。检索召回 50 条,重排后取前 5–8 条,通常比直接取向量 Top 5 稳。

六、生成:引用和拒答同样重要

Prompt 里至少要约束:

  1. 只根据给定资料回答
  2. 每个结论给出处(文档名 + 章节/页码)
  3. 资料不足时明确说“未找到依据”,不要编
  4. 区分“制度规定”和“建议”
  5. 输出结构固定,方便前端展示

示例:

你是企业知识库助手。请只依据 <context> 回答。
要求:
1. 先给结论,再给依据;
2. 每个依据标注文档名、章节和页码;
3. 如果 context 中没有足够信息,回答“未找到明确依据”,并说明还缺什么;
4. 不要补充 context 之外的事实。

模型选择:

  • 私有化:Qwen、DeepSeek、Llama 等开源模型,按显存和并发选参数量
  • 内部试点:可以用 API,但敏感数据要脱敏
  • 不要用“最大模型”解决所有问题,延迟和成本会失控

七、评估:没有评估集就没有上线

1. 建一套 100–300 条的金标问答

覆盖:

  • 高频问题
  • 长尾/跨文档问题
  • 需要拒答的问题
  • 权限边界问题
  • 多版本冲突问题

每条标注:标准答案、依据文档、可接受回答范围。

2. 指标

指标看什么
Recall@K正确依据有没有被召回
MRR / NDCG正确依据排得靠不靠前
Faithfulness回答是否忠于资料
Answer Correctness答案是否正确
拒答准确率该拒答时有没有编
延迟 / 成本首 token、完整回答、单次成本

3. 迭代顺序

先修解析和切分,再调检索,再调 Prompt,最后才换模型。大部分问题在前两层。

八、权限、安全与合规

  • 文档级 ACL:检索前过滤,不要生成后再遮
  • 部门/角色隔离:不同部门的知识库分开
  • 敏感字段脱敏:身份证、手机号、薪资等
  • 审计日志:谁问了什么、命中了哪些文档
  • 私有化:模型、向量库、OCR 都在内网
  • 数据留存:对话记录保存多久,谁能看

权限一定要在检索层做。靠 Prompt 说“不要回答机密”是不可靠的。

九、交付周期与团队

一个中等规模的企业知识库,常见节奏:

阶段周期产出
需求与文档盘点1–2 周文档清单、场景清单、验收标准
解析与切分1–2 周可检索的文档库、元数据
检索与生成2–3 周问答 MVP、引用展示
评估与调优1–2 周评估报告、问题清单
权限与上线1–2 周权限、审计、部署、培训

团队至少需要:业务方(定义问题)、文档维护人、后端/算法、前端、运维。一个人全包也能做 MVP,但上线后的知识维护才是长期成本。

十、验收清单

  • 文档清单、版本、权限已确认
  • 扫描件 OCR 质量抽检通过
  • 切分保留标题、页码、章节
  • 混合检索 + 重排已启用
  • 回答带引用,能点回原文
  • 无依据时会拒答
  • 权限在检索层生效
  • 有 100+ 条评估集和基线报告
  • 延迟、并发、成本压测通过
  • 日志、审计、反馈入口可用
  • 文档更新流程和责任人明确

常见失败原因

  1. 只做 Demo,不做评估:演示 10 个问题都答对,上线后长尾全崩。
  2. 文档不治理:旧版本、重复文件、扫描件混在一起。
  3. 切分太碎或太大:太碎丢上下文,太大召回不准。
  4. 只用向量:编号、条款、专有名词搜不到。
  5. 没有引用:用户无法验证,信任建立不起来。
  6. 权限后置:先生成再遮,已经泄露了。
  7. 把 RAG 当万能:需要计算、流程、实时数据的问题,应该走工具/API,而不是硬答。

FAQ

Q:一定要私有化吗?
A:看数据。公开资料可以用 API;涉及客户、财务、审计、人事的,优先私有化或专有实例。

Q:文档量多大才值得做?
A:不是看文档量,而是看“检索成本”和“回答一致性”。几十份高频制度也能做,几千份低质量扫描件反而难。

Q:能不能不建评估集?
A:可以上线,但没法判断好坏,也没法做版本对比。至少建 100 条。

Q:RAG 和微调怎么选?
A:知识频繁更新、需要引用 → RAG;固定风格/格式、标注数据充足 → 微调。多数企业先做 RAG。

相关阅读

我们做过审计知识库、企业 Wiki、AI 助手与私有化部署项目。有类似需求可以看项目案例或联系我们。

关于作者

鲸码研发团队,长期做企业级系统、AI 知识库、数据中台与信创环境交付。文中命令与配置均来自实际项目,版本不同请先在测试环境验证。

有类似的技术需求?聊聊 →

继续阅读