环曜在多家企业的 AI 客服落地项目里反复验证过同一条路径:先把场景边界画清楚,再让工程链路可控,再用数据飞轮把知识库越用越准。本文把这套从 0 到 1 的落地流程拆开讲——意图识别怎么收敛、检索为什么必须混合、生成阶段如何约束,以及怎样用低置信度问题池把系统养成"越用越懂业务"。
能答的答准,不能答的记下来——AI 客服的价值不在"答得多",而在于"答得准、并且越用越准"。
环曜把这套路径归纳为「AI 客服落地五步法」:画边界、定路线、做意图、建检索、跑飞轮。下面逐步展开。
一、为什么值得做:一个脱敏案例
我们服务过的一家在线语言学习团队,产品上线后客服一直由创始人亲自接。前期这很必要——要摸清用户卡点、收集真实反馈。但半年多里,创始人每天被客服占用 2-3 小时,本该花在产品方向和增长上的时间被大量消耗。
更关键的是,这半年沉淀下大量真实对话语料,成了后来做 AI 客服的宝贵底料。换个说法,不是所有客服场景都适合一上来就上 AI,数据基础要先够厚。环曜在帮这类团队做 AI 客服时,动手前也是先评估数据基础是否够厚。
适合做 AI 客服的场景通常有四个特征:问题重复度高(多数集中在产品定位、功能使用、登录、推送等范围);历史语料质量高(由懂产品的人回复,自带解释方式);产品理念需要反复解释(用户常带着旧预期来看);客服反馈能反哺产品迭代(故障、建议、困惑本身就是迭代输入)。
反过来,如果产品强依赖人工判断、涉及复杂售后与权益处理,这类场景接入 AI 客服的风险偏高,不建议做首批。
二、先画边界:能答什么、不答什么
动手前先定清楚边界,比选模型更重要。能做的事包括:基于已有知识回答产品问题;把故障完整收集并写入后台;判断建议是否符合方向、符合则记录;闲聊时保持自然;答不上来时把问题记下来后续补知识。
明确不做的事同样要写进规则:不碰数据库等高风险操作;不做任何用户承诺(比如"一定会做某功能");知识不足时宁可不答,也不强行编。AI 客服高风险的一环,就是一本正经地答错,这会直接伤用户对产品的信任,所以原则是宁可少答、不能乱答。环曜给企业做客服边界设计时,会把"不碰高风险操作、不做承诺"写进系统规则,从源头降低乱答概率。
三、技术路线:Workflow 优先于 Agent
路线选择上,常见的两类是直接使用智能体开发平台(Dify、Coze、FastGPT 一类)和自己做工程化代码。平台上手快、能力均衡,只做快速验证是不错的选择。综合来看我们建议先用工程化方案,原因是客服链路要可控:问题怎么改写、意图是否判对、召回到哪些知识、排序为何这样排、低置信度如何判断,每个环节都要能看能改。
具体到架构,客服不是一开始就全交给 Agent 的场景——回答要稳定、可解释、可复盘,不能让模型自由发挥。早期版本用更稳妥的 Workflow:每一步的输入、输出、失败处理都由系统显式控制,牺牲一部分自主性,换来确定性和更低的生产风险。等业务稳了,再逐步把合适的环节交给 Agent。关于"该用微调还是 RAG、要不要自研"的选型判断,可对照大模型微调vs RAG:何时该微调。
这里就体现出执行编排层的价值。环曜 Claw 作为企业级本地化部署的执行网关,把工单创建、反馈入库这类跨系统动作收口到本地,不需要把业务数据传出去就能完成系统联动;它与环曜RAG知识库本地化部署配合,让知识检索、判断与执行在一个私有环境里闭环,既可控又不把数据往外送。
四、意图识别怎么落地
意图分类是整个链路的关键起点,这一步错了后面全错。用户问题无限发散,系统必须有边界,所以对意图做收敛,目的是匹配到有限的知识和预设流程。
真实客服里不能只分"产品咨询"和"闲聊"。大量反馈类问题(功能异常、卡顿、想加功能)不能一句答完就结束,它们该进后台变成可处理的数据。所以一级意图至少扩到三类:产品咨询走 RAG、基于知识回答;用户反馈判断是故障还是建议、写入业务库;闲聊不检索知识库、用模型自然回应。
一个关键经验:别只给模型三个粗标签,标签太粗容易误判。要给每个一级意图补二级意图和判断标准。比如产品咨询下再拆产品定位、价格、数据安全、账号登录、使用场景等;用户反馈下拆故障报告、增加功能、体验优化。一级意图有了评判标准,识别就准了。环曜在多个项目里落地这套三级意图加二级标准的做法,识别准确率明显改善,也降低了误答率。
提示词上,让模型结合对话历史输出结构化结果:意图类别、置信度、分类理由。模型选型不必一步到位——初期可用更强模型(如阿里云通义千问 Qwen 系列)跑通流程,标准稳定后再换低成本模型,综合速度、成本和准确率定档。
五、知识整理与混合检索
知识怎么整理
知识是 RAG 的灵魂,劣质知识只会垃圾进垃圾出。整理时用 Markdown 的标题层级天然表达知识结构,方便后续按标题切分,保证每个块的语义独立完整。
知识来源通常两部分:人工整理的产品知识(定位、理念、功能、价格、数据安全、哪些做哪些不做);历史客服记录(真实用户问法加过去的真实回答)。前者系统但不一定覆盖真实表达,后者贴近真实但散,需要清洗去重。处理历史会话时,按批次(如每 10 个会话一批)借工作流批量提取有效问答对,再写入表格去重合并、人工校验——这一步费精力,但必须由懂产品的人做。
为什么必须混合检索
检索环节,只做向量检索不够。用户问题常带明确关键词(如某个具体功能名),向量检索会把语义相近但不同功能的内容召回来。所以采用混合检索:向量检索解决表达差异("对英语有没有帮助"和"能不能提升英语能力"语义接近),BM25 解决关键词命中(用户明确问某功能,BM25 直接命中)。
多路改写与重排
工程上可用成熟公开方案:向量侧如 Meta 开源的 FAISS,关键词侧如 LangChain 的 BM25Retriever;再对用户问题做多路改写,每条改写分别走向量和 BM25,用 RRF 合并同类结果,再用重排模型(Reranker)精细排序并据得分过滤。企业级环曜RAG知识库本地化部署把这套 RAG 混合检索与向量化放在内网运行,知识库与对话日志数据不出域,知识检索与问答可私有化管控;当企业要把 AI 客服落到私有环境,环曜通常建议把向量库与业务库解耦,保留后续替换为 Milvus、pgvector 的空间。如果要把知识留在自己机房,可以先看我们的企业本地化部署服务。相关实践也可对照企业知识库RAG本地化部署实战:数据不出域的检索增强6步落地。
六、生成约束、上下文与全链路观测 + 数据飞轮
生成阶段加 useful 字段
生成阶段要做强约束,原则是"所有回答必须在知识中有依据,宁可不答也不要错答"。一个实用设计是给模型加一个 useful 字段:它先判断召回知识是否真能回答,能才正常答,不能就标记 useful=false 并回复暂时无法回答——这条问题同时进入低置信度问题池,后续补知识。同时所有回答都标注出处、可回溯到原文知识块,让回答可核验,也方便人工抽检。
上下文分层:短期与长期记忆
对话是连续多轮的,上下文要分层:短期记忆保留近 N 条原始消息保证连续性;长期记忆把更早对话异步压缩成摘要存业务库,只留事实和诉求。这样在成本和上下文完整间取得平衡。环曜在多个企业落地里,都把全链路日志当作调优的核心抓手。
全链路可观测
AI 客服难调的地方在于"看起来答了但答错"。所以把全链路关键节点日志都记下来:原始消息、指代消解后的问题、意图结果、改写结果、向量与 BM25 召回列表、重排结果、实际用到的知识、生成与 useful 判断、每次调用的耗时成本。用户反馈答不准时,能定位到底是意图错、召回漏还是知识缺,而不是靠猜。
数据飞轮:低置信度问题池
数据飞轮作为收尾环节:低置信度问题进池后先标准化(去情绪、口语,只留真实意图),再按相似度合并、计数,判断高频与否;人工审核是否合规、是否已被覆盖、是否值得沉淀,通过后才补正式答案、重新入库向量化。下一次类似问题就能命中新知识——系统因此越用越准。知识库治理的细节可参考企业知识库治理:让AI答得准,而环曜RAG知识库本地化部署把知识检索、字段级权限、导出留痕、去重、版本过滤做成交付基线,让检索与执行都在私有环境闭环。
常见问题 FAQ
Q:AI 客服适合所有企业吗?
不适合。适合问题重复度高、历史语料质量高、产品理念需反复解释、客服反馈能反哺迭代的场景;强依赖人工判断、复杂售后的风险偏高,建议放后面做。
Q:为什么先用 Workflow 而不是 Agent?
客服要稳定、可解释、可复盘,先让系统显式控制每一步、失败可处理,把生产风险压到可控范围;等业务稳了,再把合适环节逐步交给 Agent。
Q:只用向量检索够不够?
不够。用户问题常带明确关键词,单靠向量会把语义相近但不同功能的内容召回来。混合检索(向量加 BM25)配合多路改写、RRF 与重排,召回更稳更准。
Q:回答错了怎么办?
生成阶段加 useful 字段,让模型先判断召回知识是否可用;不可用就进低置信度问题池,宁可提示暂无法回答,也不基于弱相关内容硬编。
Q:知识库怎么保持不"变脏"?
低置信度问题先标准化、按相似度合并计数,只把高频且合规的问题经人工审核后沉淀成正式知识,情绪化、无意义、极低频的输入不入库。
Q:环曜能提供什么?
企业级环曜RAG知识库本地化部署把知识库与对话日志留在内网、数据不出域,检索与问答都可私有化运行,去重与权限过滤都做成交付基线。当企业的客服系统需要联动后台与业务系统时,环曜 Claw 作为本地化部署的执行网关,把工单创建、反馈入库等动作收口到本地,不需要把业务数据传出就能完成系统联动。
把 AI 客服落到私有环境
企业级环曜RAG知识库本地化部署把知识库与对话日志留在内网、数据不出域,检索与问答私有化运行,并把工单创建、反馈入库等动作收口到本地执行网关。联系环曜Agent团队,按你的客服场景做一次可验收的落地评估。
联系环曜Agent团队