如果你最近用 AI 浏览器或智能体帮自己比价、订餐、查房源，可能会发现有些网站"打不开"了。这不是你的网络问题，而是网站开始系统性地把 AI 智能体挡在门外。

转变的核心在三个层面：从 robots.txt 的"君子协定"，升级到网络层的硬拦截，再到按次收费的商业模式。对普通用户来说，结果是智能体"能做的事"变少了；对站长来说，这是一次关于流量价值的重新定价。

为什么是现在关门

两个数字解释了动机。

• 机器人已经比人多。Cloudflare Radar 的数据显示，机器人流量占全网访问的 57.4%，人类只占 42.6%。这个拐点比 Cloudflare CEO Matthew Prince 自己的预测提前了将近两年。
• 点击经济正在被抽干。搜索引擎爬虫抓走内容，会把用户送回来；AI 爬虫抓走内容，直接在答案里消化掉，不产生回访。Prince 对 Fortune 的表态很直接：网络的未来是"pay to crawl"（付费抓取）。

换句话说，网站不是反对 AI，而是反对只拿不还。

拦得有多狠：不是逐个判断，而是一刀切

根据 Dev.to 的一项统计（经行业媒体转述）：

• 在设置了拦截的网站里，75% 会一次性拦掉四大 AI 爬虫中的三个以上——说明这是编辑和工程团队定的一条政策，而不是逐个评估每家公司的爬虫行为。
• 只拦单一爬虫的案例里，GPTBot 被单独拦的最多（19 家），其次是 ClaudeBot（8 家）、PerplexityBot（5 家）、Google-Extended（3 家）。

用户实际报告被拦的站点包括亚马逊、Yelp、eBay、Zillow、Pizza Hut、Adidas 以及多家航空公司。

但这里有个重要的复杂性：很多拦截是误伤。Walmart 表示其站点拦截智能体"并非有意为之"，Zillow 则说它允许消费级智能体访问，只是反爬工具有时会把它们一起拦掉。CAPTCHA 和反机器人系统分不清"用户授权的助手"和"批量爬虫"，这是当前最现实的摩擦点。

Cloudflare 这一年改了什么

Cloudflare 承载了超过 20% 的 Web 域名，它的默认值实际上在替大量网站做决定。按公开时间线：

• 2025-07-01：首个"内容独立日"，上线一键 Block AI Bots，并启动 pay per crawl 私测。
• 2025-08-28：AI Audit 更名为 AI Crawl Control。
• 2026-07-01：第二个"内容独立日"，把 AI 流量按用途分成 Search / Agent / Training 三类，所有套餐（含免费版）都可配置。
• 2026-08-21：Bot Preference Sync，让面板设置与 robots.txt 自动保持一致。
• 2026-09-15：推出 Disallow AI Training、"Accountable"爬虫认定；新域名若声明靠广告变现，带广告的页面默认拦截 Training 与 Agent 类爬虫，Search 保持放行。

这一串动作里，9 月 15 日那条最关键：默认值从"放行"变成了"拦截"。过去站长需要主动关的门，现在默认是关着的。

对站长来说还有个提醒：如果你在 2025 年配过 "Block AI Bots" 就再没回来看，你的站点可能还跑在 Cloudflare 正在淘汰的旧设置上，值得去 Security 里复查一遍。

三种新规则：从请求到收费

网站防守的手段已经分化成三层，强度依次递增：

• 第一层：robots.txt（请求）。它只是"请求"，不是锁。不遵守的爬虫不会自动受罚。
• 第二层：网络层拦截（拒绝）。Cloudflare 直接在边缘节点拒绝请求，这才是真正有牙齿的部分。
• 第三层：HTTP 402 付费（交易）。pay per crawl 让未付费的爬虫收到 402 Payment Required 和报价，付费后返回 200。站长可设的默认价格低至每次成功抓取 0.001 美元，截至 2026 年 7 月的文档版本仍为封闭测试。

值得注意的是一个反直觉的细节：防火墙拦截会覆盖付费通道。如果你用 WAF 拦了某个爬虫，它连"付钱买访问"的路都没有了。想卖访问权和想拦住买家，可以在同一套配置里安静地共存，而拦截优先。

另外，Yelp 的做法是只让智能体通过付费数据授权进入——这说明"按次付费"正在从技术选项变成商务合同。

智能体侧的问题：身份缺失

网站为什么不敢放行？因为它无法确认来者是谁。

目前 agent 请求大多只能靠 User-Agent 自称，而 UA 可以随便伪造。正在推进的解法是 Web Bot Auth——一份 IETF 草案，让 AI 智能体对 HTTP 请求做密码学签名，网站据此验证调用方身份。亚马逊 Bedrock 的 AgentCore Browser 已在预览版中支持，用来减少 CAPTCHA 挑战。

逻辑很清楚：CAPTCHA 只是减速带，可验证的身份才是锁。

与此同时，智能体本身的失控风险也在累积。TechCrunch 10 月 16 日报道，印度成为最新一个报告"失控 AI 智能体活动"的国家，攻击入口是暴露在应用配置、公开代码仓库和过度宽松的云权限里的凭据与连接设置。当智能体既有权限、又能自主行动，网站收紧入口就成了必然反应。

对不同人的实际影响

• 普通用户：用 AI 浏览器代订、代购、代查的成功率会下降，遇到"打不开"或验证码时不必怀疑自己的网络。能用官方 API 或合作渠道的服务，体验会明显更稳。
• 站长 / 内容站：现在必须做一次明确决策——Search 类放行（否则丢搜索流量）、Training 类按商业意愿处理、Agent 类看是否愿意用访问换交易。默认值已经替你做了选择，但那不一定是你想要的。
• 开发者：把"网络访问"当成基础设施来设计，而不是写死在每个应用里。需要处理 402、需要应对区域与身份校验差异，也需要为重试和降级准备方案。

常见问题（FAQ）

Q1：网站拦 AI 智能体，会影响我的谷歌搜索排名吗？ 不会，前提是别拦错。Cloudflare 表示不到 1% 的站点会拦搜索爬虫；谷歌也明确说明，禁止 Google-Extended 不影响搜索排名。真正会伤排名的是拦掉 Googlebot 本身。

Q2：robots.txt 禁止了，爬虫就真进不来吗？ 不是。robots.txt 是请求，不是强制。真正起作用的是网络层拦截（WAF / Bot Management）和身份校验。

Q3：网站可以收 AI 公司的钱吗？ 可以。Cloudflare 的 pay per crawl 通过 HTTP 402 报价、付费后放行，价格由站长按 zone 设定，最低可到每次 0.001 美元。截至 2026 年 7 月的文档，它仍是封闭测试。

Q4：为什么我用 AI 助手访问某网站会被当成机器人？ 多数是反爬系统无法区分"用户授权的助手"和"批量爬虫"。Walmart 就承认其拦截并非有意，Zillow 也表示允许消费级智能体，只是工具会误伤。

Q5：Web Bot Auth 能解决问题吗？ 它是目前最接近正解的方向：让智能体用密码学签名证明身份，网站据此放行可信调用。但它仍是 IETF 草案，生态还在早期，亚马逊 Bedrock AgentCore 的支持也只是预览。

来源

• The Verge《Websites are closing their doors to AI agents》，2026-10-16。
• TechCrunch《India becomes the latest country to report rogue AI agent activity》，2026-10-16。
• Cloudflare 官方博客与文档（AI Crawl Control、Disallow AI Training、pay per crawl），2025-07 至 2026-09。
• Fortune 对 Cloudflare CEO Matthew Prince 的采访（"pay to crawl"）。
• Dev.to 关于 robots.txt 拦截行为的统计（经 Web Pulse 等转述）。
• 行业整理《Cloudflare's AI Crawler Controls and Pay Per Crawl Explained》，2026-10 更新。

说明：本文所有比例、价格与时间点均引自上述公开来源，未做估算。Cloudflare 产品处于快速迭代期，具体默认行为请以官方文档当前版本为准。