AI网关（AI Gateway）是部署在应用与大模型 API 之间的中间层：应用只对接网关的统一接口，网关再路由到 OpenAI、Anthropic、DeepSeek 等真实后端。它把“接模型”这件事从散落在代码里的各处调用，收敛成一个可管理的入口。
核心价值
- 统一接口：一套 API 格式兼容多家模型，换供应商改配置即可，不动业务代码
- 成本治理：按团队/项目统计 token 消耗，设预算上限，缓存重复请求
- 稳定性：某家 API 挂了自动切换到备选模型；限流、重试、超时统一处理
- 安全与合规：密钥集中管理（业务代码不再碰真实 Key）、内容审计、日志留存
代表产品
开源的 LiteLLM、One API / New API、Portkey、Cloudflare AI Gateway 等；不少团队用自建网关。
什么时候需要
接一家模型的小项目可以直接调 API；满足“多模型并存、多人使用、成本要管、稳定性敏感”中任意两条，就该上网关。对做多模型路由（Model Routing）和降本优化的团队，网关是标配底座。