跳转到主要内容
技术5 分钟阅读

企业级 RAG 的知识治理、检索策略与质量评估

从知识生命周期、混合检索与重排,到答案依据与评测数据集,分析检索增强生成在企业环境中的关键设计。

主题配图:企业级 RAG 的知识治理、检索策略与质量评估
主题摄影 · Unsplash

摘要 检索增强生成(RAG)通过外部知识为模型提供上下文,但检索相关不等于答案正确。企业实施需要将资料治理、访问控制、检索质量与生成质量分别设计和评估,形成可持续维护的知识服务。

知识生命周期决定系统上限

企业资料通常包含有效制度、历史版本、草稿与重复附件。直接建立向量索引,会使语义相近但业务效力不同的内容共同参与召回。应为知识对象保留来源、责任人、生效时间、适用范围和版本状态。

资料发布、更新、停用与删除需要同步到索引。解析失败、分块失败和索引未完成应有独立状态,避免管理员把文件接收成功误认为知识已经可检索。

对表格、扫描件与多栏文档,应抽样核对解析结果。金额与单位、条款与例外条件、型号与操作步骤,需要在分块后仍保留足够上下文。

检索链路的能力分工

关键词检索适合型号、编号与专有名词,向量检索适合语义相近但表达不同的问题。混合召回可增加候选覆盖,重排则对候选内容进行更细粒度的相关性判断。

环节 主要目标 典型评估问题
召回 找到可能包含答案的资料 正确依据是否进入候选集合
重排 提升候选顺序与上下文利用效率 相关片段是否排在有限上下文内
生成 忠实表达依据与适用条件 结论是否得到引用内容支持

召回数量并非越多越好。增加候选可能引入相互冲突或无关内容,还会增加上下文成本。参数选择应通过同一评测集比较,而非只观察个别演示问题。

权限过滤与证据保留

知识可见范围应作用于候选检索、原文读取、引用预览与附件下载。仅在前端隐藏目录,无法形成完整的数据隔离。对缓存的检索结果和答案,也需要明确用户范围与失效条件。

答案应关联文档、片段和版本信息。引用数量不能代表引用质量,应检查引用是否真正支持对应结论,是否遗漏限制条件,以及文档之间是否存在冲突。

没有充分依据的问题,应进入澄清、拒答或人工处理路径。检索分数是排序信号,不宜直接展示为答案正确概率。

建立分层评测数据集

评测样本至少包含用户问题、允许使用的知识范围、参考依据和判定规则。样本应覆盖直接问答、多段综合、无答案、版本冲突、表格读取与越权访问。

检索层可观察 Recall@K 或候选命中情况,生成层检查事实一致性、回答完整性与引用准确性。自动评估工具可用于快速回归,但对关键业务结论,仍应保留人工复核和错误归因。

评测数据应与日常调参样本区分,避免仅对已反复优化的问题取得良好表现。更换模型、分块方式或检索参数后,应记录版本并对同一测试集复测。

例如,某个问题有三段人工标注的必要依据,前十条候选仅包含其中两段,则该问题的 Recall@10 为 2/3。召回命中仍不足以证明答案正确:还要逐项核对生成结论与证据的对应关系。对无答案问题,应单独记录错误作答比例,避免总体平均分掩盖知识边界问题。

持续运营与知识改进

未解决问题需要分类处理:资料缺失交给知识责任人,解析错误回到入库环节,召回失败调整检索,答案偏离则检查上下文与生成约束。不同原因需要不同修正,不能统一归为模型问题。

企业知识服务因此包含技术链路与组织责任两部分。前者保证可检索、可追溯,后者保证资料有效并持续更新。

相关产品:灵析AI知识库、灵析统一身份认证。

参考资料


配图:Unsplash 主题摄影。

灵析智算

关注企业知识、智能体、业务系统与私有化交付,讨论可验证的实施方法。