分离式推理服务（Disaggregated Serving）是面向大模型推理的部署架构，NVIDIA 的推理框架 Dynamo 把它列为分布式推理的核心能力之一。
要解决的问题
大模型推理分为两个阶段——prefill 一次性读入整段提示词，算力密集，直接决定首字延迟（time to first token）；decode 逐 token 生成，访存密集，决定吞吐。两阶段对算力与显存带宽的需求不同，混在同一组 GPU 上会相互干扰，难以同时优化首字延迟与吞吐。
做法
Dynamo 文档给出的组合是「分离式服务 + KV 感知路由（KV-aware routing）+ 缓存管理 + 自动扩缩容」，共同编排整条推理流水线。架构上把 Prefill 与 Decode 拆成独立环节，中间由 KV 感知路由器调度，并提高 KV 缓存的复用率。文档列出的优化指标是：首字延迟下降、请求吞吐上升、KV 缓存复用率上升。
工程前提
Dynamo 支持接入 vLLM、SGLang、TensorRT-LLM 等推理引擎，并连接所需的网络、存储与 KV 缓存层。也就是说，分离式服务需要在推理引擎之上额外引入路由与缓存层，由它把 prefill 与 decode 实例协同起来。
适用边界
这是自托管与集群侧的部署优化，主要收益出现在长提示词、高并发、需要同时压低首字延迟并提升吞吐的场景；单卡或小规模部署通常不需要引入这套复杂度。