按次付费抓取(Pay Per Crawl)是 Cloudflare 于 2025 年 7 月 1 日公布的实验性功能,目前处于私有测试(private beta)阶段。它要解决内容方面对 AI 抓取时的二选一困境:要么完全开放、内容免费被拿走,要么自建围墙。Cloudflare 提出的第三条路是「允许访问,但收费」。
工作原理
机制建立在 HTTP 状态码与既有认证机制之上。爬虫每次请求内容时,要么通过请求头表达支付意愿并拿到 200,要么收到 402 Payment Required 响应与报价。官方给出两种流程:
- 反应式(发现优先):爬虫请求付费 URL,边缘返回 402 并附带 crawler-price 头说明所需价格;爬虫可带上 crawler-exact-price 头重试,表示接受该价格。
- 主动式(意图优先):爬虫首次请求就带 crawler-max-price 头声明可接受的最高价;若内容方配置价不高于该值,则按配置价计费并返回 200(响应含 crawler-charged 头),否则返回 402。每次请求只能使用 crawler-exact-price 或 crawler-max-price 其中之一。
内容方控制
域名所有者可为全站设定统一的按次单价,并对每个爬虫分别选择三种策略——Allow(免费放行)、Charge(按配置价收费)、Block(完全拒绝)。
结算
Cloudflare 在 pay per crawl 中担任 Merchant of Record,并提供底层技术基础设施;带支付意图且拿到 200 的请求会被记为一条计费事件,Cloudflare 汇总事件后向爬虫方收费并结算给内容方。
适用边界
该功能属实验性、私有测试阶段的方案,改变的是「能不能抓、要不要付费」,不涉及内容本身的使用授权范围。