Cloudflare 测出 57.5% 请求来自机器人:企业 AI Agent 官网的 AI 搜索贡献,怎么读才算数-环曜Agent

我们把自己官网四个多月的入口页数据拉出来复盘时,先看到的不是 AI 搜索的贡献,而是一堆"不像人"的访问:9,084 次浏览量里有 40.3%–56.6% 来自本地开发机;再剔掉疑似采集与预取之后,四个月里能被确认来自 AI 引擎引荐的访问只有 3 条

但紧接着出现了一个矛盾的数字:这 3 条里有一条,同一访客连读 6 页、停留 8 分 43 秒、跳出率 0%

对企业决策者来说,这件事的意义是:AI 搜索很可能已经在给你带人,只是你的后台读数把这类信号埋掉了——它们与本地自测、抓取预取、同一访客反复刷新混在同一张表里,一并被算成"几秒钟就走的无效流量"。本文给出一套可核对的做法:八个失真源、五条读数纪律,以及一页纸的数据可信度体检。文中合规与采样口径的结论仅作落地参考,请结合自身数据现状核对。

一、先看一个反直觉的实测:AI 引荐只有 3 条,其中一条连读 6 页

判断这类数据之前,先要接受一个前提:原始导出不能直接用,它不是"数据错了",而是它把所有访问都算作同一类。 下面先把本次复盘的两类数据源与口径摊开,再由浅入深地看结论。

数据来源与口径

本次复盘用的两类自有数据,口径与样本量如下(便于你复算,也便于判断可比性):

读数组数值口径与样本量
入口页聚合导出原始浏览量 9,084官网统计后台「入口页面」导出 4 份;时间窗 2026-06-01 至 2026-09-16;样本量 4 份(按自然月切分)
其中本地流量40.3%–56.6%host 命中 localhost / 127.0.0.1 / 带端口;条目每月 37–108 条
剔除本地后的线上浏览量4,555同上时间窗;线上主机仅 www 域名与裸域
疑似采集/预取占线上浏览量 20.9%–35.2%判定:跳出率 ≥95% 且 PV≈UV(差 ≤1)且时长落在 60–130 秒;每月 56–127 条
AI 引擎引荐3 条链接带 utm_source=chatgpt.com;时间窗内 6 月 2 条、8 月 1 条
其中深读样本PV6 / UV1 / 跳出 0% / 523 秒落地页为一篇 3,000 字以上的方法论文章;连读 6 个页面

外部数据也在说同一件事

这不是孤例。Adobe Digital Insights 的 AI 流量报告(2026 年 7 月数据,2026 年 8 月 19 日发布;口径为美国零售网站的线上交易数据,样本量超过 1 万亿次访问、覆盖 200 家以上大型零售商)显示:AI 引荐流量的停留时长比非 AI 流量长 59%、跳出率低 33%、转化率高 60%、单次访问收入高 53%,且转化优势已连续 11 个月存在。

把它和我们那 3 条放在一起看,结论就清楚了:AI 引荐是典型的小样本、高深度渠道。如果只看条数,你自然会得出"AI 搜索没什么用";只有把深度指标单独拎出来看,它才显出价值。这也是后文五条读数纪律里把"AI 引荐单列"写进纪律的原因——环曜AIVO 在做 AI 可见度 复核时,同样把这一步当作前置项:先确认这类访问能被单独认出来,再谈优化动作。

二、为什么你会把它看丢:流量里混着八个失真源

先给一个量级参照。Cloudflare Radar 数据(由 Cloudflare 联合创始人 Matthew Prince 于 2026 年 6 月 3 日公布)显示,自动系统已占全球网络内容 HTTP 请求的 57.5%,人类为 42.5%,这是该口径下机器请求首次过半;其中 OpenAI 的 GPTBot 一年内增长 305%

需要如实标注两条限定:该口径统计的是请求数而不是人的注意力(按使用时长、流媒体等互动指标衡量,人类仍占多数);且这是单一厂商的可见切片,公布者也承认分类方法"有些粗糙"。

我们的站点数据与它方向一致但量级更低——疑似采集占线上浏览量的 20.9%–35.2%。差异主要来自口径:一边是全部 HTML 请求,一边是统计后台里的页面浏览量。两者在报告里不要相加或换算。

前四类失真源:来源层污染

#失真源典型表现会造成的误判
1本地开发与自测流量1 页、0% 跳出、超长时长(平均可达 25 分钟)拉低跳出率、抬高停留、把真实入口挤出榜单
2预览域与镜像域预览域名被计入"线上主机"主机口径被污染,线上总量虚高
3裸域与 www 未合并同一站点被拆成两行单页数据被腰斩,趋势断点被误读
4采集与预取跳出率 ≥95%、PV≈UV、时长 60–130 秒,且同批 URL 跨月重复被读成"用户停留两分钟"
#失真源典型表现会造成的误判
5同一访客反复访问单页 PV/UV 比异常(如 PV 9 / UV 1、跳出 0%)被读成"高粘性内容"
6App 与 IM 内嵌包装参数链接带桥接类参数(use_xbridgeloader_namesec_link_scene被算作自然入口,来源结构失真
7AI 引荐归因流失被记为 referral,或直接落进 direct渠道价值被系统性低估
8URL 架构迁移旧地址入口量骤降、新地址同步上升被读成"文章流量崩塌"

第 7 条为什么常被漏掉

前六类都是"多算进来的",第 7 类相反——它是被算漏的。行业操作口径里,AI 平台的引荐来源并不总能被正确识别:部分助手类入口会把来源显示为普通搜索域名,或直接落入直接访问,因此实测到的 AI 引荐数字通常是下限而非全貌

想让它可见,只能靠主动标注与单列统计;这一层没做,你在后台里永远看不到它。这也是我们主张"先修读数口径、再谈效果"的原因——内容侧改得再好,读数看不见就等于没做。关于内容如何被 AI 搜索读到,企业官网内容为什么没被 AI 搜索引用 里有另一条线索:内容侧的可读性与数据侧的可见性,必须同时成立。在 官网优化 项目里,环曜AIVO 通常把这两侧做成同一张检查表:内容侧改动与数据侧复核对齐到同一个月度节点,避免一边改完、另一边读不出来。

三、八个失真源怎么过滤:识别信号与处理动作

过滤动作不需要复杂工具,需要的是把判定条件写死。所谓写死,就是把"什么算本地流量、什么算采集、什么算 AI 引荐"变成一句可执行的条件,而不是留在某个人的经验里——否则换个人做,同样的数据会得出不同的结论,前后月也没法比。本次复盘实际使用的八条动作如下,前四条处理"来源层",后四条处理"读取层"。

前四条:来源与主机层

动作识别信号处理动作
剔除本地流量host 命中 localhost / 127.0.0.1 / 0.0.0.0 / 内网段 / 带端口从报表剔除并记录剔除比例;根治办法是本地环境不加载统计脚本
剔除预览域命中预览或镜像域名归入本地一侧,不参与线上统计
合并主机裸域与 www 指向同一站点、canonical 统一合并为一行统计,避免单页数据被腰斩
单列疑似采集跳出率 ≥95% 且 PV≈UV(差 ≤1)且时长 60–130 秒单独列出,不并入"受欢迎页面"排行
动作识别信号处理动作
单列反复访问具体落地页 PV/UV ≥2.5 且 PV ≥5单列复核(自身测试 / 爬虫 / 真回访),不计入内容质量结论
单列包装参数链接含 App 与 IM 桥接参数单独归类,不并入自然入口结构
单列 AI 引荐链接带 utm_source 且来源为 AI 平台域名与搜索、直接访问分开统计,按深度评价
标注迁移点架构、域名或 canonical 变更日期跨月对比前标注;迁移期用"旧地址 + 新地址"合计数判断

其中"标注迁移点"与"单列 AI 引荐"两项适合固化成定时任务:环曜Claw任务自动化 可以按周跑一遍,把结果直接落进月度报表,不必每次人工重算。

三个容易做错的判定

其一,首页的 PV/UV 比高是正常现象。 同一访客多页浏览、回访折返都会推高比值,实测首页曾出现 PV 579 / UV 98(比值 5.9)——若把首页也算进"异常"判定,必然大面积误报。这条判定只对具体落地页生效。

其二,落入采集行的访问不能当"深读"。 本次每月有 56–127 条落在这一行,占线上浏览量两成到三成半;一些公开转述会挑出其中时长漂亮的样本,讲成"用户平均停留两分钟",这在口径上站不住。

其三,带包装参数的链接不是自然入口。 这类访问多来自内嵌浏览器或采集器桥接,算进自然来源会让渠道结构判断整体偏移。

看到一个数字先问三件事

口径、时间窗、样本量。三者缺一,这个数字就只能当参考、不能当结论。举个反例:复盘期间检索到某类公开转述称"信通院测算国内 GEO 市场规模 286 亿元、年增速 125%、AI 搜索用户转化率 14.2%",但页面未给出报告名称、发布日期、页码与统计口径,还把另一家机构的预测混排在同一语境里。这类数字不宜引用——问题不在于大小,而在不可追溯。

更省事的做法是把这些判定写成固定文档:谁在看哪张表、用的哪套口径,都记在一处,企业级环曜知识库本地化部署知识管理 入口就是用来放这类材料的,换人接手时不必重新问一遍。

四、过滤之后读什么:五条读数纪律

过滤只是把噪声拿走,剩下的数字怎么读,还需要一套固定纪律。原因很直接:同一组过滤后的数据,既可以读成"某篇文章很受欢迎",也可以读成"某个渠道开始起量",差别只在读的人有没有统一判定。以下五条是本次复盘采用的判定方式,前三条保证趋势可比,后两条指导动作顺序。

五条纪律

#纪律含义本次实测
1迁移点必须标注架构、域名、canonical 变更前后不做单列趋势对比扁平地址入口量由 891 降至 8,实为迁移所致
2入口结构看占比不看单页绝对量,看各类入口的占比变化首页占线上 31%–54%,文章页占其余多数
3同批 URL 跨月重复当异常稳定命中的 URL 说明被机器稳定抓取或统计落默认值每月 56–127 条,跨月重复出现
4老文是搜索入口主力存量长文承担主要入口与浏览量6 月文章入口中早期文章占 675 次浏览量
5AI 引荐单列并看深度与搜索、直接访问分开;按停留与页数评价3 条中 1 条连读 6 页、523 秒

这套判定不依赖特定工具:用命令行 跑一次脚本,把导出文件过一遍,就能得到上面五组读数,企业级环曜 CLI 本地化部署 的客户环境通常把它并进既有的批处理流程,不新增一套系统。

为什么第 4 条优先级最高

因为它直接决定你的动作顺序。企业官网的入口浏览量往往集中在较早写的老文上,而这批老文恰恰是结构较弱的一批:抽样核对发现,早期文章的"正文内链、结构化问答"覆盖率接近零,而新规范下发布的文章覆盖率很高。

这意味着同样的编辑工时,投给"已经被搜索进入过的老文",回报高于平均分给全站——补两条正文内链、补一组问答、补一句商业出口,就能让已经在进来的流量多走一步。反过来,如果只按编号顺序平均用力,你会在没有流量的页面上花掉大部分时间。内容侧如何让 AI 更愿意引用,可参考企业官网在 AI 搜索里的可见度,它讲的是引用机制本身,与本文的读数方法互补。

补链前先要有一份"哪些老文被进入过"的清单,企业级环曜知识库本地化部署文档检索 入口可以按月承接这份清单,谁改过哪一篇、改在哪个版本,都能查到。

五、读到真数据之后:缺口不在内容,在出口

口径修对之后,你会发现原本担心的问题往往不成立。本次复盘看到的结构是这样的:内容侧的入口并不少,真正缺的是把读者送出去的那一跳。这一节先看入口与出口的落差,再看两个可以把落差补回来的动作,以及一套每月可复用的一页纸流程。

入口占比与出口占比的落差

维度实测读法
首页作为入口占线上 31%–54%首页仍是主要入口,但不能只看它
商业页作为入口1.5%–7.7%落地结构失衡,靠内容自然带客不足
文章会话出第二页8.3%内容间跳转弱
文章会话到商业页2.1%内容读完后没有商业出口
商业页自身停留平均 273 秒商业页质量不差,缺的是把流量送过去

这组数字里值得注意的一点是:问题不在商业页没人看,而在文章没有把读者送过去。48 条文章入口会话里只有 4 条产生第二页、1 条走到商业页,而商业页自身的平均停留达到 273 秒,转化损失就发生在这个出口环节。

把出口补回来可以做两件事:让内容之间互相跳转,以及让正文明确给出落点。环曜Claw业务系统集成 能力可以把"读者点出去之后落到哪张表单、进哪个队列"变成配置项,而不是每次改页面。

承接句为什么必须写进正文

做法很小:在正文里用一句与上下文相关的话,把读者接到服务页或方案页,锚文本要能读懂,不要放裸路径。例如讲完过滤流程后写"这套判定我们按可交付清单拆过,也写进了本地化部署的服务页的验收项里"。固定页脚的按钮不算——它全站都有,只有出现在正文里,才算真的承接。

出口的设计属于 官网优化 的一部分,环曜AIVO 在承接 AI 搜索 来源的访问时,会把锚文本与落地页一起看,而不是只加一个链接。这一点与高盛说 AI 抢了一半流量,那你的客户去哪了判断的是同一件事:流量迁移会带来结构失衡,而结构性缺口只能用结构性动作补上,不能靠多写几篇。

政策与合规口径

数据取样与自动化判断也要对齐合规要求。中央网信办、国家发展改革委、工业和信息化部《智能体规范应用与创新发展实施意见》(2026 年 5 月 8 日)对授权范围与责任边界提出了要求:凡由智能体代为访问、采集或判断的环节,都应明确授权与责任归属。落到本文场景,建议把"谁授权我们采集统计、留存多久、谁可查看"写成一句话放进流程文档,而不是默认"后台里能看到就能用"。

对留在私有环境内处理的流量项目,企业级环曜 Agent 本地化部署 会把授权范围与审计留痕一起写成交付项——谁在什么时候看了哪张表,事后可回溯。

一页纸的数据可信度体检

把上述动作压成一页纸,共四步:① 冻结口径(写明数据源、字段、时间窗、剔除比例);② 过滤(八个失真源逐条判定);③ 读数(五条纪律逐条出具);④ 归档(口径文档、过滤脚本、验收结论按版本留存)。

五个验收指标

验收指标达标要求
本地流量剔除比例明确标注,且与上月口径一致
采集/预取单列单独成行,不进入排行与内容结论
AI 引荐单列与搜索、直接访问分开,附落地文章与深度
商业页出口每篇新文正文 ≥1 条承接句,且可统计
结论可复算口径 + 时间窗 + 样本量齐备,他人可用同法复现

这五项建议随月度报表一起出,用命令行 跑一次即可生成对照,企业级环曜 CLI 本地化部署 的客户环境把它并入既有的检查单,不额外占用人力。

这套流程适合自动化

上述四步每月重复,适合写成固定任务:导出、过滤、读数、归档串成一条流水线,环曜Claw 的任务自动化 就能承担这一段,不必改动现有业务系统。流水线每月自动运行,人工只做复核与结论判定。

口径文档与历史基线建议集中存放、按版本检索,企业级环曜知识库本地化部署 的文档检索入口可以按版本对照,不必再翻各人本地保存的文件。

流量原始数据的处理位置同样值得写进流程:建议留在自有环境内完成,并保留完整的审计留痕,这属于 企业级环曜 Agent 本地化部署 交付时的常规要求,通常与权限表、口径文档以及回退步骤一起归档并逐项验收。

至于内容侧的另一套动作,它与数据侧共用同一套判定条件,具体由 环曜AIVO 承接:让 AI 搜索 带来的访问在数据上可核对,把 AI 可见度 做成按季度复核的固定项。

结语:先修口径,再谈效果

回到开头那 3 条访问。它们之所以引人注意,不是因为数量,而是因为在被正确识别之后,它们的深度显著高于站内平均——而在此之前,它们一直混在四成本地流量和两三成疑似采集里,谁都看不见。

所以给决策者的建议只有一句:下次拿到流量报表,先过口径,再读结论。 具体动作是三个——把这八个失真源做成固定过滤、把五条读数纪律写进月度复盘模板、把每篇新文的商业出口做成可统计项。做完这三件事,你才真正拥有"AI 搜索有没有用"这个问题的答案;在那之前,所有结论都是在噪声上做的判断。你们现在后台里的 AI 引荐这一栏,能看清吗?

常见问题 FAQ

Q:Q1 我们一直用平台后台看跳出率,为什么不能直接用?

因为平台后台默认不做剔除。实测同一份导出里,本地开发流量占浏览量四成到五成半,其特征是 1 页、0% 跳出、超长时长——直接把总跳出率拉低、把平均时长拉高。正确做法是先剔除本地与预览域,再把疑似采集单列,剩下的数字才有讨论价值。

Q:Q2 只有 3 条 AI 引荐数据,能说明问题吗?

样本量确实不足以下比例结论,但足以说明两件事:一是识别口径必须单列,否则这类访问会散落在 referral 或 direct 里;二是评价维度要换成深度,因为外部数据(样本超 1 万亿次访问)同样显示 AI 引荐停留更长、跳出更低。建议把它做成月度单列项,累积三个季度再谈比例;环曜AIVOAI 搜索 复核用的也是这个节奏,先保证看得见,再谈比例与优化。

Q:Q3 这些过滤动作要每周手工做吗?

不必。初次手工做是为了确定口径,确定之后就该固化成脚本或定时任务:同一套判定条件、同一个输出格式、每月自动产出。手工重复做的问题不是麻烦,而是每次口径都会漂移,导致前后月不可比。

Q:Q4 怎么区分一条访问是采集还是真人?

看三个信号组合,而不是单看时长:跳出率是否在 95% 以上、浏览量是否与访客数几乎相等、同一批 URL 是否跨月重复出现。三者同时命中,基本可判为采集或预取。要注意的是,落入这一类的样本每月可能有两成到三成半,量不小,不能靠"挑掉几条不好看的"来处理。

Q:Q5 要不要采购第三方监测工具?

先修口径,再考虑工具。工具能解决采集与归因的一部分问题,但本地流量污染、主机拆分、迁移断点这类问题属于配置与流程层面,买工具也不自动解决。判断标准是:把口径文档写出来之后,是否会因为换工具而全部重写——如果会,说明你的口径还没有独立于工具。

Q:Q6 改口径会不会影响历史报表的可比性?

会,所以要做两件事:一是标注迁移点,在变更日期前后不做单列趋势对比;二是在变更当期同时给出新旧两个口径的合计数,让趋势判断建立在合计而不是单列涨跌上。这也是我们把口径文档与历史基线一起归档的原因——半年后回看时,你会需要知道当时的数字是怎么算出来的。 自有入口页聚合导出 4 份(时间窗 2026-06-01 至 2026-09-16,原始浏览量 9,084,剔除本地后线上 4,555);自有会话级导出 59 条(时间窗 2026-09-14 至 2026-09-16,去重后 56 个访客 ID)。外部来源包括 Cloudflare Radar(2026 年 6 月 3 日公布,HTTP 请求口径)、Adobe Digital Insights AI 流量报告(2026 年 7 月数据,样本超 1 万亿次美国零售网站访问)、中央网信办等三部门《智能体规范应用与创新发展实施意见》(2026 年 5 月 8 日)。外部平台数据为聚合口径,自有数据含会话与聚合两类口径,报告中不相加、不换算。 你所在企业的后台里,AI 引荐这一栏现在能看到几条访问?欢迎在评论区说下你们的读数与时间窗,我们可以一起对一对口径——看到底是渠道还没来,还是读数把它藏起来了。

先把读数口径修对

我们提供官网 AI 可见度与数据口径方案,把过滤规则、月度读数与承接结构写成可验收交付物。

联系环曜Agent团队
分享到: