📦

批处理推理(Batch API)

Batch Processing (Batch API)
基础设施
推理API成本优化

批处理推理(Batch Processing)是一种把「实时问答」和「大批量任务」分开处理的调用方式:你把成百上千条请求一次性提交,服务端把它们放进异步队列,在非高峰时段逐步执行,完成后你再通过任务 ID 取回结果文件。

工作机制

  • 异步队列:提交后任务进入排队,不占用实时对话通道,通常在 24 小时内完成(多数情况会快得多)
  • 价格折扣:因为服务端可以自由调度执行时机、填满闲置算力,官方定价通常为同步调用的一半左右
  • 单独限额:批处理有自己的提交量上限,与实时调用的速率限制相互独立

适用场景

数据标注与清洗、批量内容生成、大规模评测打分、知识库预处理等「晚点拿到也没关系」的任务。

适用边界

交互式对话、实时客服、流式输出等对延迟敏感的场景不适用;任务有硬性截止时间时也要慎用,因为完成时间是「尽力而为」的区间承诺。它与同步推理不是替代关系,而是同一推理系统的两条不同通道。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些自有内容板块,帮你从不同角度发现好工具。

☆ 0