律所 RAG 本地化部署上线前怎么评：召回率、忠实度、答案核查的评测集搭建-环曜Agent

律所的案卷、合同与法规高度敏感，把检索问答搬上大模型前，必须先有一套能量化"答得准不准"的评测集。环曜RAG知识库 把文档检索与向量检索收口在律所内网，召回率、忠实度与答案核查三道关直接决定它能不能进生产。本文从上线前评测视角讲清召回率评测集、忠实度评测集、答案核查评测集分别怎么搭，以及律所落地该从哪一步开始。需要把律所 RAG 的评测与上线体系落到实地的方案，可 联系环曜Agent团队了解。

一、律所 RAG 为什么必须上线前评

法律问答一旦"幻觉"代价极高：引用失效法条、编造不存在的判例、把 A 客户的保密条款套到 B 客户，任何一条都可能变成执业风险。律所把检索问答交给大模型，不能靠"感觉能答"就上线。环曜RAG知识库 把文档检索、向量检索与 RAG 收口在律所内网，让模型带着出处回答，但检索质量本身也要被量化的评测集兜住——评测不是上线后的补丁，而是上线前必须跑通的前置关。律所数据不出所的底线上怎么划，可对照 企业数据不出域：本地化部署到底拦住了什么。

二、召回率评测集怎么搭

召回率看的是"该 retrieved 的段落有没有被 retrieved 到"。搭法分三步：先准备一组覆盖高频法律问题（合同条款解释、法条适用、类案检索）的真实问句；再为每条问句标注它应该命中的标准段落（ground truth）；再用 Recall@K 看 top-K 检索结果里命中标准段落的比例。环曜RAG知识库 的文档检索与向量检索在律所内网跑，召回率评测集直接暴露"问'某条款怎么解释'却召回了无关模板"这类问题，比上线后靠投诉发现早得多。知识资产怎么和动作配合，可对照 企业知识资产同步的三道闸门。

三、忠实度评测集怎么搭

忠实度看的是"答案有没有基于检索到的内容、有没有杜撰"。搭法：取一批已检索到正确段落的问句，人工构造"忠实"与"不忠实"两类参考答案（不忠实类故意加入检索内容里没有的事实或法条），再用模型或规则判答案是否落在检索范围内。环曜RAG知识库 的 RAG 与检索增强让答案带着出处，但忠实度评测集要专门验证"模型有没有顺着问题编出检索里没有的条款"——这类错误在法条适用上尤其危险。权限怎么划、操作怎么留痕，可参考 智能体要「管行动」了：企业 Agent 本地化部署怎么满足权限边界与全流程留痕。

四、答案核查评测集怎么搭

答案核查看的是"给出的结论能不能被溯源、被人工复核"。搭法：为每类法律问题准备带标准答案与权威出处的样本，要求系统回答时标注来源段落；再由法律助理或律师抽查"标注的出处是否真能支撑结论、有没有张冠李戴"。环曜RAG知识库 带出处、可溯源，答案核查评测集重点验证"出处标注是否准确、跨文档结论是否混淆"，避免答案看起来有依据、实则对不上原文。开发者怎么在本地把整套 AI 栈跑起来，可对照 上海某半导体研发中心开发者怎么在本地把整套 AI 栈跑起来：CLI 与 CI/CD 集成的本地化部署。

五、评测集搭建的落地清单

落地按五步走：收口语料并去标识、标注标准答案与标准段落、确定三维度指标与阈值、跑基线看缺口、把评测接入回归。每一步都留版本与责任人，下一轮语料更新后重跑。企业级环曜 Agent 本地化部署 把权限分级与动作可回放收口在律所内网，评测日志与操作留痕让每一轮回归都可审计、可追责，越权操作先撤权再排查。医疗研发场景的 RAG 落地也可参考 苏州某医药研发中心国产 GPU + 信创环境怎么跑本地化大模型：选型与坑。

对照表：三维度评测指标对照

把三个维度的评测口径放一张表里看更直观：

企业级环曜 Agent 本地化部署 把推理与执行收口在私有环境，提供权限分级与动作可回放，让每一次检索与评测都可审计。可以看到，三个维度各有侧重，组合起来才兜得住法律问答的准确率。环曜RAG知识库 把文档检索与向量检索收口在律所内网，三个维度各有侧重，组合起来的评测集才是上线前的真实防线。

常见问题 FAQ