Google 的 Googlebot 是一个典型的”混合爬虫”—— 它同时为 Google 搜索建索引，也为 Google 的 AI 功能（比如 AI Overviews）采集数据 … 如果站长选择屏蔽 AI 爬虫，Cloudflare 自己的爬虫也会被挡在门外 … Cloudflare 向来被广大用户称赞为”赛博菩萨”，是因为它确实在做一件有价值的事 —— 把 AI 时代的数据掠夺从暗处拉到明处，逼 AI 公司说清楚”我要你的数据干什么”。
Google 的 Googlebot 是一个典型的”混合爬虫”—— 它同时为 Google 搜索建索引，也为 Google 的 AI 功能（比如 AI Overviews）采集数据 … 如果站长选择屏蔽 AI 爬虫，Cloudflare 自己的爬虫也会被挡在门外 … Cloudflare 向来被广大用户称赞为”赛博菩萨”，是因为它确实在做一件有价值的事 —— 把 AI 时代的数据掠夺从暗处拉到明处，逼 AI 公司说清楚”我要你的数据干什么”。