文章图片
文章图片
当AI聊天机器人、AI搜索受到越来越多用户的青睐 ， AI厂商与内容创作者的矛盾已然不可调和 ， AI时代的流量争夺战迎来了全线升级 ， “AI摘要”劫持流量更是成为内容创作者拒绝接受的现实 。 这时候 ， 云服务提供商Cloudflare选择与内容创作者站在一起 ， 不久前宣布将默认阻止AI爬虫在未经网站所有者许可或补偿的情况下抓取其内容 。
为了实现这一愿景 ， Cloudflare CEO马修·普林斯透露目前正在与谷歌进行谈判 ， 要求后者将传统搜索引擎的爬虫与AI爬虫分离 ， 使得网站可以按照自身需求决定是否屏蔽AI爬虫、以避免自己的内容被抓取后生成AI摘要 。 Cloudflare方面声称 ， 如果最终的结果是谷歌拒绝分离爬虫 ， 他们将考虑推动立法来强迫对方必须分离 。
那么Cloudflare凭什么与谷歌谈条件呢？这是因为作为CDN提供商 ， 他们的竞争力来源于在全球拥有超过152个数据中心构成的专用高容量光纤网络 ， 为全球用户提供了一个低成本、乃至免费接入公开网络的能力 。 到目前为止 ， 全世界有20%的互联网流量都经过了该公司的网络代理 ， 他们也是现在全球最大规模的对等连接网络（P2P网络）之一 。
活跃在Cloudflare网络上的成百上千万个网站和App就是他们的底气 ， 但仅凭这一点就想让谷歌屈服也不现实 。 毕竟AI搜索是谷歌的未来 ， 一旦AI爬虫无法抓取内容 ， 它的市场竞争力就势必会断崖式下降 。 事实上 ， 以The Information为代表的海外科技媒体也不太看好Cloudflare ， 他们认为Cloudflare显然无法阻止谷歌从网站上抓取数据、用于其AI产品 。
再加上推动立法来强制谷歌分离AI爬虫需要动辄数年时间 ， 即便真的等到立法完成 ， 估计许多网站和内容创作者已经被AI厂商“赶尽杀绝” 。
既然如此 ， 为什么Cloudflare要做这种近乎于行为艺术的操作呢？答案是他们其实就是在作秀 ， 并且从一开始就不是为了给内容创作者伸张正义 ， 而是为了自己的Pay Per Crawl平台 。
Pay Per Crawl是Cloudflare推出的一个交易市场 ， 为内容创作者和AI厂商提供了一个撮合交易的场景 。 为了Pay Per Crawl ， 早在一年前Cloudflare就宣布 ， 为使用其服务的网站提供AI审计工具 (Cloudflare AI Audit)， 向网站站长报告AI厂商的爬虫何时访问网站、抓取数据的IP地址、抓取频次 ， 以及其他相关数据 。
要知道一个交易平台想要成功 ， 买卖双方的认可才是关键 。 可现在的情况是作为卖方的内容创作者、网站站长对于Pay Per Crawl有着迫切的需求 ， 可买方AI厂商则不然 。
在目前的条件下 ， 一般的网站其实很难抵御AI爬虫的抓取 ， 只能提供“软约束”的robots.txt更是已经成为废纸 。 同时AI直接将内容浓缩为摘要的行为 ， 让用户根本就不需要点击原文 ， 从而导致了网站的流量下降、广告收入锐减 。
【“赛博活雷锋”向谷歌开炮，Cloudflare的目的并不单纯】
根据Cloudflare本月初发布的的最新统计数据显示 ， 谷歌搜索的爬虫大约每6至7次抓取会给网站带回1次点击 ， 而OpenAI的爬虫GPTBot则是1500次才能换来1 次跳转 ， Anthropic的爬虫ClaudeBot效率更低 ， 达到了73300次换1次 。 显而易见 ， AI大厂与内容创作者之间基于内容创作、分发和广告/订阅收入的商业模式 ， 已经被动摇 。
可是已经习惯免费爬取内容的AI厂商即便是想付钱 ， 显然也不愿意让Cloudflare作为中间商赚差价 。 事实上 ， 为了应对AI搜索可能会给网站带来的冲击 ， 谷歌已经推出了Offerwall工具 ， 允许站长为网站的用户提供多种内容访问方式 ， 诸如小额支付、参与调查、观看广告等选项都可以选择 。
不同于按次付费爬取的Pay Per Crawl ， Offerwall实现付费的方式是让网站直接通过向用户兜售小额支付 ， 以获得数天的内容访问权 ， 或者通过激励广告的形式变现 。 简而言之 ， 对于AI时代的内容付费 ， Cloudflare选择了流量变现模式 ， 谷歌则走的是付费订阅 。
不难发现 ， 对于用户为内容付费这件事 ， 流量变现和付费订阅是非此即彼的关系 。 因为内容创作者不可能将一份内容变卖两次 ， 选择Offerwall就意味着拒绝Pay Per Crawl 。 所以Cloudflare为了把Pay Per Crawl做起来 ， 必须尽一切可能让更多人知道该他们正在为内容创作者“主持公道” 。
推荐阅读
- 荣耀X70新机图赏：硬核之王，重新定义“耐用铁三角”！
- 中端价位“新卷王”，120W闪充+骁龙8至尊版，高端旗舰低至2928元
- 被家电参数劝退N次？整理出的“反套路” 指南，小白必看
- Manus“出走”中国，为哪般？
- AI写的文章为什么总是“不能细看”
- 1399元！刚发布的“8300mAh大电池”手机，绝对是来捣乱的
- 2025下半年，“价格腰斩”的四款手机，16+512G适合捡漏
- 7月国补后，价格“大跌”的骁龙8至尊版旗舰，配置几乎没有短板
- 7月公认“接近完美”的3款真香机，16GB+512GB成“价格屠夫”
- 苹果的内存，不再是“金子”做的，库克要跟上国产的脚步了？