🪙

按次付费抓取(Pay Per Crawl)

Pay Per Crawl
基础设施
AI 爬虫内容付费HTTP 402

按次付费抓取(Pay Per Crawl)是 Cloudflare 于 2025 年 7 月 1 日公布的实验性功能,目前处于私有测试(private beta)阶段。它要解决内容方面对 AI 抓取时的二选一困境:要么完全开放、内容免费被拿走,要么自建围墙。Cloudflare 提出的第三条路是「允许访问,但收费」。

工作原理

机制建立在 HTTP 状态码与既有认证机制之上。爬虫每次请求内容时,要么通过请求头表达支付意愿并拿到 200,要么收到 402 Payment Required 响应与报价。官方给出两种流程:

  • 反应式(发现优先):爬虫请求付费 URL,边缘返回 402 并附带 crawler-price 头说明所需价格;爬虫可带上 crawler-exact-price 头重试,表示接受该价格。
  • 主动式(意图优先):爬虫首次请求就带 crawler-max-price 头声明可接受的最高价;若内容方配置价不高于该值,则按配置价计费并返回 200(响应含 crawler-charged 头),否则返回 402。每次请求只能使用 crawler-exact-price 或 crawler-max-price 其中之一。

内容方控制

域名所有者可为全站设定统一的按次单价,并对每个爬虫分别选择三种策略——Allow(免费放行)、Charge(按配置价收费)、Block(完全拒绝)。

结算

Cloudflare 在 pay per crawl 中担任 Merchant of Record,并提供底层技术基础设施;带支付意图且拿到 200 的请求会被记为一条计费事件,Cloudflare 汇总事件后向爬虫方收费并结算给内容方。

适用边界

该功能属实验性、私有测试阶段的方案,改变的是「能不能抓、要不要付费」,不涉及内容本身的使用授权范围。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些自有内容板块,帮你从不同角度发现好工具。

☆ 0