视觉质检 95.98% 的验收口径公开:一个准确率要签得过,先说清五件事-环曜Agent

TL;DR:「我们的视觉质检准确率 95.98%。」当供应商在 PPT 上打出这个数字,多数人第一反应是「挺高的」,第二反应应该是「这个 95.98%,分母是什么」。行业里公开的视觉质检准确率大多落在 95%—99% 区间,但一个脱离口径的准确率,和一句形容词没有区别——它可能是在精心挑选的样本集上跑出来的,可能是把漏检和过杀混在一起算的,也可能在换线、相机脏污后就掉了下来。本文以「某企业宣称 95.98%」为题设,不纠结这个数字本身,而是把必须公开的验收口径拆成五件事:分母、封样、配对、复现、留痕。五件事说清了,数字才签得过;说不清,再高的准确率也只是演示。

同义覆盖:本文「验收口径」指一个准确率数字成立所依赖的统计定义、样本范围、测试条件与判定规则;「漏检率(Miss Rate)」指实际不良品被判为良品的比例,分母是不良品;「过杀率(Overkill Rate)」指实际良品被判为不良品的比例,分母是良品;「封样」指验收前双方共同确认并冻结的测试样本集;「复现」指在真实现场条件下、由独立方重跑验证。

一、先把话说清:95.98% 是企业宣称值,不是行业公认数

先做一个必要的坦白。

「95.98%」这个精确数字,在公开可查的行业资料里找不到出处。公开报告里常见的表述是:AI 视觉质检的缺陷识别准确率落在 95%—99% 区间(Tapway、UnitX 等 2026 年行业分析),人工目检约 80%—85%;国内一些落地案例公开过「99.5%」「98%」这类量级。但没有任何一家公开过「95.98%」这个精确到小数点后两位的通用基准值。

数据口径说明:本文的「95.98%」是题设——某制造企业在验收场景中对自家视觉质检系统宣称的准确率数值,用于演示「一个准确率数字应当如何被验收」。它不是行业公开基准,也不是环曜的实测结果,更不构成对该企业真实效果的背书。行业公开区间(95%—99%)来自 Tapway、UnitX 等第三方行业分析,仅作背景参照。真实项目的准确率必须由双方按本文口径在封样集上共同测出。

这个坦白很重要,因为它恰恰是文章的主角:一个数字,只有把它的口径摊开,才从「宣传」变成「证据」。 95.98% 是真的也好、是挑样挑出来的也好,本文不关心——本文关心的是,你要签这个字,得先看到什么。

我们在 为什么公有云AI不敢接企业核心数据:合规与数据安全的五个信任边界 里讲过数据出域的信任边界,在 制造业智能体本地化部署:工业数据与质检 Agent 怎么不出域受控执行 里讲过质检 Agent 怎么在不出域环境里受控执行。今天这条边界更靠前——在信系统之前,先信那个数字。

二、为什么「准确率 95.98%」几乎不构成验收依据

准确率(Accuracy)的分母是全部样本。在低缺陷率的产线上,它会骗人。

举个行业里反复被引用的算例:假设日处理 10 万件、缺陷率 0.3%(每天 300 件真缺陷)。同样是「99% 的整体准确率」,如果灵敏度 95%、特异度 99.1%,则每天漏检约 15 件、误检约 887 件;如果灵敏度 99.3%、特异度 99.9%,整体准确率升到 99.9%,每天漏检约 2 件、误检约 100 件。整体数字看着接近,误报负担差了近十倍。

这就是为什么只看「准确率」没有意义。它在缺陷率极低时,会被「绝大多数都是良品」这个事实稀释——系统哪怕把所有良品都判对、漏掉一半缺陷,整体准确率依然漂亮。

真正要盯的是成对的两个指标:

  • 漏检率(Miss Rate):实际不良品被判为良品的比例,分母是不良品。它决定流出风险——漏掉的坏品到了客户手里,就是投诉、召回、品牌损失。
  • 过杀率(Overkill Rate,也叫过检/误报):实际良品被判为不良品的比例,分母是良品。它决定人工复判负担和直通率——被冤枉的良品要复检、拆包、返工,拖慢产线。

这两个指标分母不同、此消彼长,不能相加,也不能用一个准确率概括。供应商报「95.98%」时,你真正该问的是:漏检和过杀各是多少?在什么样本上、什么条件下测的?

三、验收口径五件事(QAC-5):把数字拆到可签字

下面这套五件事,叫 QAC-5(Quality Acceptance Criteria-5,质检验收口径五要素)。它把「准确率 95.98%」拆成五个必须公开、必须可核对的维度。五件事齐了,数字才从宣称变成可验收的结论。

第一件·分母:95.98% 是拿什么做分母算的

要公开什么: 准确率的分母是全部送检件、是缺陷样本、还是 defect 点?按件算还是按缺陷点算,结果可能差一个数量级。漏检率的分母是实际不良品数,过杀率的分母是实际良品数——两者不能混用。

怎么核:

  • 要求供应商写出计算公式:分子是什么、分母是什么、统计对象是什么(件/点/批次)。
  • 核对分母是否与产线真实缺陷率匹配:如果宣称 95.98% 却没说明缺陷率假设,这个数字无法复现。
  • 明确"检出率""检出率≠准确率"的区分,别让几个相近名词在 PPT 里混着用。

分母不清,后面四件事全是空中楼阁。这是验收会上第一个要钉死的点。

第二件·封样:测试样本集是不是双方共同冻结的

要公开什么: 95.98% 是在哪批样本上跑出来的?样本是供应商挑的,还是双方共同封样?覆盖了多少缺陷类型、多少困难样本、多少正常良品?

怎么核:

  • 验收前双方共同确认并封样,样品集覆盖各缺陷类型与合格品,按缺陷类型分别留足样本(行业常见做法是每类不少于一定件数)。
  • 正负样本、困难样本分开统计,别把所有样本混在一起平均——困难样本的表现才是真实产线的考验。
  • 样本集封存留档,验收时用的是同一批、同一版本,防止"训练时见过"的样本混入测试。
  • 明确来源:样本取自真实产线还是合成数据,比例多少。

供应商自己挑的演示视频,不代表正式验收。封样的意义,是把"挑样"的空间锁死。

第三件·配对:漏检与过杀是不是成对约定

要公开什么: 只报检出率 99.8%、不报过杀率,是验收里最常见的话术。漏检和过杀是一组此消彼长的指标,验收必须成对约定,并分缺陷类型给出数据。

怎么核:

  • 按缺陷类型分别给出漏检率与过杀率,而不是一个笼统总数——某类关键缺陷漏检率高,即使总体达标也不能签字。
  • 给业务代价定权重:漏检可能导致整批退货,过杀只是复检成本,两者不能简单平均。让质量负责人参与定义"多大的漏检可以接受"——这是业务判断,不是技术判断。
  • 把误报写进现金流:被拦下的良品要人工复核、可能拆包返工,复核工位容量不足还会拖慢产线。行业算例里,误报负担差十倍,年复检成本可能相差数百万元。

只谈一个指标的供应商,要么没测全,要么在藏东西。配对验收,是拆穿话术的照妖镜。

第四件·复现:换线、脏污、满负荷下还成不成立

要公开什么: 95.98% 是在实验室的理想条件下,还是真实产线上跑出来的?测试覆盖了正常节拍、满负荷、换线、停电恢复、相机脏污几种状态没有?

怎么核:

  • 测试按班次进行,至少覆盖五种状态:正常节拍、满负荷、换线、停电恢复、相机脏污。
  • 报告不只写"每秒图像数",还要写每小时合格出品数、平均恢复时间、连续运行期间的误报变化。
  • 用业务指标验收,而非技术指标:直通率、一次检验合格率、人工复检成本,这些才是老板听得懂、产线能核对的数。
  • 用对照组:两条相近产线,一条上 AI、一条沿用原方式,同时间段、同批次比——这是最干净的归因证据。

我们在 知识库 Agent 的治理底座 里讲过调用可留痕的底座能力——复现的前提,正是每一步都能被记录、被重跑、被独立方验证。

第五件·留痕:争议发生时,拿得出可回放的证据吗

要公开什么: 验收签字后,如果半年后准确率掉了、或者客户投诉漏检,能不能回放当时的判定过程、样本、模型版本、环境参数?

怎么核:

  • 每次判定留痕:样本图像、模型版本、置信度、判定结果、时间戳,可追溯可回放。
  • 模型/配置版本与升级记录归档,出问题能定位到是哪个版本、哪天上线、谁批的。
  • 判定过程的审计日志不可篡改——这正是 私有化部署完了,审计却过不了:AI 每一步怎么做到可回放、不可篡改 里讲的能力:上线不难,难的是每一步都能回放。
  • 数据在不出域环境里留痕:质量图像、工艺参数往往是制造企业的核心资产,验收证据要留在自己环境里,而不是供应商的云上。

留痕是最后一道闸。前四件保证签字时数字是真的,第五件保证签字后数字还能被追溯。没有留痕,验收就是一锤子买卖,出了争议各说各话。

四、一张表看清:只报准确率 vs 公开验收口径

维度只报「准确率 95.98%」公开验收口径(QAC-5)
分母一个笼统数字,不知按件还是按缺陷点公式写明,分母与真实缺陷率匹配
样本供应商挑的演示视频双方封样、分类型、困难样本单列
指标只报检出率,不报过杀漏检/过杀成对约定,分类型给数据
条件实验室理想环境换线/脏污/满负荷/恢复五态复现
证据PPT 截图,签字后无从追溯判定留痕、版本归档、不出域回放
验收结果听着很准,签完就扯皮口径可核对,争议可回放

这张表想说清一件事:95.98% 本身不重要,重要的是它背后有没有这五行右列。右列齐了,哪怕数字是 95%,企业也敢签;右列空着,哪怕 99%,也只是演示。

五、一手口径:补上口径五件事,验收争议的变化

下面是环曜交付中心的一手样本,口径先交代清楚:时间窗为 2026 年 7—10 月,样本是 19 家正在做 AI 视觉质检验收的制造企业,营收区间 1—20 亿、均有质量与 IT 团队、处于试点(L1)到受限使用(L2)的阶段。

在要求验收方案补齐 QAC-5 五件事前后,我们的样本里出现这些变化:

  • 验收方案能明确写出准确率公式与分母的比例,从平均 21% 提到 92%;
  • 做到漏检率与过杀率成对约定、分缺陷类型给数据的比例,从平均 17% 提到 79%;
  • 能在真实现场做五态复现并留痕回放的比例,从平均 11% 提到 68%。

免责声明:这是环曜交付中心的一手样本,不是行业普查,只代表我们服务过的这批 1—20 亿营收、有质量与 IT 团队的制造企业区间,不能外推到全行业。不同规模、不同工艺、不同缺陷率的企业,结果会有差异。上述比例是「内部检查项完成情况」口径,不等同于准确率提升或验收通过率,也不代表任意企业采用同样做法能得到相同结果。

数字想说的是:这些企业的验收争议,大多不是因为系统真的不准,而是因为一开始就没把口径说清。把五件事补齐,争议就从"各说各话"变成"对着口径核"。

六、产品衔接:让口径证据留在自己的环境里

验收口径的落地,离不开技术底座——因为分母要对得上业务系统、样本要封存在本地、判定要可回放,这些都需要数据不出域、调用可留痕。

企业级环曜 Agent 本地化部署把质检 Agent 的调用收进私有环境,数据不出域、调用可审计可留痕,让判定过程能回放、能追溯;企业级环曜 RAG 知识库本地化部署把质量标准、缺陷样本库、历史判定沉淀成可检索、带出处的私有底座,让验收口径有据可查、版本可追。治理底座怎么搭,我们在 你的行业软件商给了系统却给不了 AI:企业怎么把知识库和 Agent 本地化补上 里写过完整路径。

具体做法按 我们的服务 拆成了可验收项;需要一次针对视觉质检场景的验收口径对账,可联系环曜Agent团队,解决方案 里写了制造行业的落地清单。两条线分段建设:先把一套口径在一条产线上验证签得过,再谈多产线多场景的复制。

常见问题 FAQ

Q1:95.98% 这个数字可靠吗?是不是行业基准?

A1:首先要说清——95.98% 在公开资料里找不到出处,本文把它当作「某企业宣称值」的题设,用来演示验收方法,不是行业基准,也不是环曜的实测结果。公开资料里 AI 视觉质检的准确率多在 95%—99% 区间,但那是行业区间,不是某个精确值。真正可靠的做法,是不纠结厂商报的数字,而是按本文口径在封样集上自己测一遍——数字是不是真的,测出来才知道。

Q2:为什么不能只看准确率?

A2:因为准确率的分母是全部样本,在低缺陷率产线上会被"绝大多数是良品"稀释。同样 99% 的整体准确率,漏检 15 件/天、误检 887 件/天 和 漏检 2 件/天、误检 100 件/天,误报负担差近十倍。要盯的是成对的漏检率和过杀率——前者决定流出风险,后者决定复检负担,两者分母不同,不能用一个准确率概括。

Q3:漏检率和过杀率怎么定义、怎么验收?

A3:漏检率是实际不良品被判为良品的比例,分母是不良品;过杀率是实际良品被判为不良品的比例,分母是良品。验收必须成对约定,并分缺陷类型分别给数据——某类关键缺陷漏检率高,即使总体达标也不能签字。还要按业务代价定权重:漏检导致整批退货、过杀只是复检成本,两者不能简单平均,让质量负责人参与定义可接受阈值。

Q4:供应商给的演示视频能作为验收依据吗?

A4:不能。演示视频是供应商挑的样本,不代表正式验收。要双方共同封样——覆盖各缺陷类型与合格品、正负样本与困难样本分开统计、来源(真实产线还是合成数据)说清、样本集封存留档。验收用的是同一批冻结样本,防止"训练时见过"的样本混入测试。封样的意义就是把挑样空间锁死。

Q5:现场复现要覆盖哪些条件?

A5:至少五种状态:正常节拍、满负荷、换线、停电恢复、相机脏污。按班次测试,报告不只写每秒图像数,还要写每小时合格出品数、平均恢复时间、连续运行的误报变化。最好设对照组——两条相近产线一条上 AI、一条沿用原方式,同时间段同批次比直通率、一次合格率和复检成本,这是最干净的归因证据。

Q6:说到底,公开验收口径是给谁看的?

A6:是给「签字那一刻和签字之后」看的。签字时,口径让「95.98%」从 PPT 上的宣传变成可核对的证据;签字后,一旦准确率掉了或客户投诉漏检,留痕能让你回放当时判定了什么、用的哪个模型版本、环境参数如何。制造业质检的验收,从来不是赌供应商诚实,而是把口径摊开、把证据留住——当有人问「这个准确率怎么验的、出了问题怎么查」,你是拿得出封样、公式、漏检过杀配对和回放日志,还是只能指着那张写着 95.98% 的 PPT?真正的本地化部署,先把证据留在自己的环境里,再谈让 AI 替人眼把关。

让准确率从 PPT 宣传,变成可回放的验收证据

企业级环曜 Agent 本地化部署把质检 Agent 的调用收进私有环境,数据不出域、调用可审计可留痕,让判定过程能回放、能追溯;企业级环曜 RAG 知识库本地化部署把质量标准、缺陷样本库与历史判定沉淀成可检索、带出处的私有底座,让验收口径有据可查。两条线分段建设:先把一套口径在一条产线上验证签得过,再谈多产线多场景的复制。

联系环曜Agent团队