是什么：跑一个模型做推理，传统方式是租或买 GPU 常驻——算力一直在烧钱，流量低谷时大量闲置。无服务器推理（serverless inference）把这块反过来：应用只管发请求，平台在收到调用时才在基础设施上给这次推理分配算力，按调用量/用量计费，不调用就不花钱。Cloudflare 的 Workers AI、Modal 等平台都属于这一形态，通常按「请求、token 数或 GPU 用量」计费。
与按 token 付费 API 的关系
闭源模型的官方 API（按 token 计费、免运维）本质上也是一种 serverless 消费方式；「无服务器推理」在工程语境里更多指在云平台上托管自己选的模型权重（开源模型、自微调模型），获得 API 式的弹性而无需管理服务器。
优点与代价
① 免运维——不用管 GPU 选型、驱动、扩缩容；② 成本随用量走——流量波动大、夜间几乎无调用的内部工具和中小应用，比常驻 GPU 省得多；③ 主要代价是冷启动：实例从零拉起加载模型有延迟（模型越大越明显），平台会通过预热、快照等手段缓解，但实时性敏感的调用要实测。适用边界：流量稳定且量大的服务，常驻实例或专用部署往往单价更低；低延迟硬要求（如实时语音）要仔细评估冷启动与排队。选型时优先比较：计费口径、并发上限、模型支持范围与冷启动表现。