Cloudflare 对此的解释是，它的爬虫是”合规爬虫”，会尊重 robots.txt，会遵守自己的 AI Crawl Control 规则 … 如果站长选择屏蔽 AI 爬虫，Cloudflare 自己的爬虫也会被挡在门外 … Cloudflare 向来被广大用户称赞为”赛博菩萨”，是因为它确实在做一件有价值的事 —— 把 AI 时代的数据掠夺从暗处拉到明处，逼 AI 公司说清楚”我要你的数据干什么”。
Cloudflare 对此的解释是，它的爬虫是”合规爬虫”，会尊重 robots.txt，会遵守自己的 AI Crawl Control 规则 … 如果站长选择屏蔽 AI 爬虫，Cloudflare 自己的爬虫也会被挡在门外 … Cloudflare 向来被广大用户称赞为”赛博菩萨”，是因为它确实在做一件有价值的事 —— 把 AI 时代的数据掠夺从暗处拉到明处，逼 AI 公司说清楚”我要你的数据干什么”。