Cloudflare 细化网络爬虫屏蔽管理，将默认禁止 AI 代理与训练爬虫访问广告页面

互联网基础服务企业 Cloudflare 宣布细化网络爬虫屏蔽管理，根据其行为对爬虫机器人赋予搜索、代理、训练等一系列标签，并计划在 2026 年 9 月 15 日默认禁止 AI 代理与训练爬虫访问含广告的网页。Cloudflare 表示，大多数网站所有者都希望自己的内容既能够被人工智能发现又不会损失来自知识产权的收益。负责任的 AI 企业会清晰标记其网络爬虫机器人的用途，但仍然存在相当数量的混合型爬虫，同时具备多种功能。Cloudflare 还将为网站所有者提供新版归因业务洞察仪表板，适应搜索优化从 SEO 到 GEO 再到 AEO的变迁。