TL;DR:过去怕智能体答错,现在要管它"做完没有"——当 AI 从回答问题走向替人动手,风险从内容跑偏扩展到动作越界,11 月接连落地的新规和自律公约,都在把"调用可追溯、动作可管控"变成上线前的一道必答题。
同义覆盖:本文"智能体"即 Agent;"替人动手"指智能体自主调用工具、读写系统、提交操作;"踩刹车"指授权边界、运行留痕、异常熔断这类管控动作;"行为风险"区别于过去模型"答错话"的内容风险。
一、老板的担心变了:从"答得对不对"到"动得对不对"
过去两年,企业讨论 AI 安全,问的多是模型会不会胡说、答案准不准。那是内容层面的风险,答错了改提示词、加检索就能补。
现在问题换了。客服智能体直接改订单,运维智能体直接调接口,财务智能体直接跑报表。登录、取数、提交这些原本由人一步步确认的动作,正在交给智能体自主完成。
一位政企负责人在乌镇峰会上把这道坎说得很直白:眼下的一大障碍,是企业还没建立起一套把智能体纳入真实业务的信任机制。数据不出域、权限可核查、责任可追溯,任何一条含糊,项目就停在试点。
新焦虑不是"它会不会说错",而是"它这次到底调了哪些工具、读了哪些数据、把信息发到了哪里"。这些过程,过去不在任何人的视野里。
二、六天之内,四道闸门接连落下
这种变化不是个别企业的敏感,而是监管和行业在同一时间给出了信号。
11 月 4 日,中国信息通信研究院等 20 家单位联合发布《智能体发展自律公约》,明确提升智能体安全防护能力,提到运行监测、行为管控、异常熔断这些方向。
11 月 6 日,工信部印发《关于加强智能体终端设备进网管理的通知》,把预置智能体的终端设备纳入进网管理,重点盯权限调用、网络与数据安全。同日,中国工业互联网研究院发布智能体十大应用风险警示,"间接提示词注入""越权自主行动"被列入风险清单。
11 月 9 日,国家互联网信息办公室的"互联网新技术新应用信息服务备案系统"正式上线,生成式人工智能、算法、深度合成、区块链等备案一体化办理,原来的算法备案系统和区块链备案系统同步停用。
来源:国家互联网信息办公室官网通告,2026-11-09;工信部《关于加强智能体终端设备进网管理的通知》,2026-11-06;中国信通院等《智能体发展自律公约》,2026-11-04;中国工业互联网研究院智能体十大应用风险警示,2026-11-06。
这条时间线想说明的只有一件事:智能体安全正在从"上线前交一份材料",变成"运行中能持续拿出证据"。
在部署这一层,包括环曜在内的多家厂商把方向放在本地化与私有化部署上——把推理、检索和执行留在企业内网,让"数据不出域、调用可追溯"有落地的物理前提。这是接住监管前移的基础,不是可有可无的加分项。
三、替人动手三问:把"信不过"拆成能回答的问题
面对自主执行的智能体,与其笼统地说"要安全",不如拆成三个能逐条自查的问题。
第一问:谁能动手? 智能体该以什么身份、什么权限去调工具、读数据?权限给到表级还是字段级,跨系统取数走谁的身份,这些要在上线前写清楚,而不是开发期一把梭授权。越权自主行动被单列进风险清单,正是因为这一问常常答不上来。
第二问:动了什么? 一次任务里调用了哪些工具、访问了哪些数据、信息有没有外发,能不能像看日志一样回放出来。过程看不见,出了问题就无法定位,更谈不上向监管举证。运行期可观测性,是这类管控里常被忽略、又不该省的一环。
第三问:出事查谁? 哪些动作必须人工确认,什么情况触发异常熔断,事件怎么上报、谁负责解释。责任链和熔断机制要在设计阶段就定,不能等事件发生了临时补。
来源:中国工业互联网研究院智能体十大应用风险警示(2026-11-06);中国信通院《智能体发展自律公约》(2026-11-04,运行监测/行为管控/异常熔断方向)。
要落地这套框架,执行这一层需要有专门的收口位置。以环曜Claw 本地化部署为例,这类执行网关的做法是把工具调用、字段级权限、流转留痕和出域阻断集中在网关侧,让"谁能动手、动了什么"变成可配置、可回看的证据,而不是散在各应用里的口头约定。
四、内容风险与行为风险,管的不是一回事
读表提示:下表是两类风险的相对特征对照,不是分级评分,也不代表某种方案优劣;企业应按自身场景判断两边各占多少。
| 对比维度 | 内容风险 | 行为风险 |
|---|---|---|
| 出问题的方式 | 说错话、答不准 | 做错事、越权操作 |
| 典型场景 | 幻觉、事实错误、不当表述 | 误改数据、越权调用、信息外发 |
| 发现时点 | 输出后即可看见 | 过程隐蔽,事后才暴露 |
| 主要管控手段 | 检索增强、提示约束、内容审核 | 权限边界、运行留痕、异常熔断、人工确认 |
| 责任难点 | 内容归属 | 动作归属与举证 |
这张表想说明的只有一件事:过去那套治"答不准"的办法,管不住"做错事"。两类风险要分开设防,用同一套思路只会漏掉一半。
五、公开案例里的共同点:先立信任,再谈规模
乌镇峰会期间发布的行业观察里,一个细节值得停一下:有企业把客户分成两类,一类是中小与非传统企业,从营销到研发全面 AI 化;另一类是中大型单位与政府部门,走稳健路线,要求 AI 与历年积累的 IT 能力结合。后者关心的不是模型有多强,而是数据能不能不出域、权限能不能核查、动作能不能追溯。
11 月 3 日,有厂商在乌镇发布面向政企的可信桌面级智能体,自我定位里反复强调"可信"二字,而不是比拼参数。这个取向本身就是信号——政企市场的门槛,正在从能力转向可交付的信任。
从试点走到这一步,通常要先把场景收敛到一两个动作可界定、结果可验证的环节。这也是量身定制 AI 应用这类做法的位置:先在一个具体场景里把权限、留痕和验收跑通,再谈铺开。而要给这些动作算清价值,数字员工平台强调的"全程留痕 + 双维度核算"提供了一条可量化的路径——动作有记录,产出才对得上账。
来源:人民政协网《OneBox乌镇首发与政企AI的信任重构》,2026-11-05;2026年世界互联网大会乌镇峰会公开报道。
六、避坑清单
- 别把备案当终点:备案看的是材料,运行看的是动作;过了审不等于过程可控,两件事要分开做。
- 权限按最小必要给:智能体读数据、调工具按必要权限下发,字段级能解决就别开表级,开发期的一次性授权要回头清理。
- 把留痕做成默认项:调用链路、数据访问、外发动作默认记录、可回放,别等事件发生了才发现没日志。
- 先设熔断再谈自主:给高风险动作设人工确认和异常熔断,把"什么时候必须停"写进设计,而不是靠模型自己判断。
总结
回到开头那道题——谁来踩刹车?答案不在模型参数里,而在三件朴素的事上:把权限边界写清,把执行过程留痕,把责任与熔断定死。11 月这波新规和公约,本质都是把这三件事从"建议"变成"要拿得出证据"。先把信任机制立起来,规模才有地方长。你们公司在放智能体自主执行之前,先定义的是权限,还是先跑通了效果?
数据来源声明
· 国家互联网信息办公室《关于互联网新技术新应用信息服务备案系统上线的通告》,2026-11-09(一体化备案系统上线,生成式人工智能/算法/深度合成/区块链合一,原算法与区块链备案系统停用)。
· 工业和信息化部《关于加强智能体终端设备进网管理的通知》,2026-11-06(预置智能体终端设备纳入进网管理,关注权限调用、网络与数据安全)。
· 中国信息通信研究院等 20 家单位《智能体发展自律公约》,2026-11-04(运行监测、行为管控、异常熔断方向)。
· 中国工业互联网研究院智能体十大应用风险警示,2026-11-06(间接提示词注入、越权自主行动)。
· 人民政协网《OneBox乌镇首发与政企AI的信任重构》,2026-11-05(政企 AI 信任机制、三类割裂;公开报道口径)。
· 2026 年世界互联网大会乌镇峰会公开报道(安全与治理议题;备案累计数据)。
说明:本文事实与数据均来自上述官方发布、权威机构与媒体公开报道,不代表任何单一厂商的产品效果承诺;文中政策内容为公开信息梳理,不构成法律或合规意见,具体合规义务请以主管部门要求为准。
常见问题 FAQ
Q:什么是"行为风险",和过去说的 AI 风险有什么不同?
A:过去关注模型回答是否合规、准确,属于内容风险;行为风险指智能体自主执行动作时越权、误操作或信息外发。前者答错了能看见,后者过程隐蔽,往往事后才发现,管控手段也不同。
Q:模型能力越强,是不是就越安全?
A:不是。能力越强,能调动的工具和系统越多,动作半径反而更大。中国信通院牵头的安全报告把企业智能体的主要风险点放在治理层——权限、留痕、上报,而不是模型层,方向就是这个意思。
Q:把智能体部署到本地,是不是就解决了?
A:本地化与私有化部署解决的是"数据不出域、调用可回放"的物理前提,让证据调得出来;它不等于自动安全,权限怎么给、留痕怎么记、熔断怎么设,仍要企业自己定义清楚。
Q:怎么开始做这套自查?
A:从三个问题入手:谁能动手(权限边界)、动了什么(运行留痕)、出事查谁(责任链与熔断)。挑一个具体场景逐条回答,答不上来的那条,就是当前该先补的短板。
Q:什么情况下先别急着让智能体自主动手?
A:流程本身没梳理清、数据分散在没治理的系统里、又没人愿意为动作结果负责时,先让智能体做辅助和建议,把这三件事补上,再谈放开执行权限。
把智能体行为收进可控的安全刹车
企业级环曜 Agent 本地化部署把工具调用、字段级权限、流转留痕与出域阻断集中在网关侧,让"谁能动手、动了什么"变成可配置、可回看的证据;企业级环曜 RAG 知识库本地化部署让数据检索不出域、调用可回放——两条线分段建设、互为前提,帮企业把智能体行为从"信不过"收成"边界写清、过程留痕、责任与熔断定死"的本地化安全闭环。
联系环曜Agent团队