批处理推理(Batch Processing)是一种把「实时问答」和「大批量任务」分开处理的调用方式:你把成百上千条请求一次性提交,服务端把它们放进异步队列,在非高峰时段逐步执行,完成后你再通过任务 ID 取回结果文件。
工作机制
- 异步队列:提交后任务进入排队,不占用实时对话通道,通常在 24 小时内完成(多数情况会快得多)
- 价格折扣:因为服务端可以自由调度执行时机、填满闲置算力,官方定价通常为同步调用的一半左右
- 单独限额:批处理有自己的提交量上限,与实时调用的速率限制相互独立
适用场景
数据标注与清洗、批量内容生成、大规模评测打分、知识库预处理等「晚点拿到也没关系」的任务。
适用边界
交互式对话、实时客服、流式输出等对延迟敏感的场景不适用;任务有硬性截止时间时也要慎用,因为完成时间是「尽力而为」的区间承诺。它与同步推理不是替代关系,而是同一推理系统的两条不同通道。