📄

分页注意力(PagedAttention)

PagedAttention
技术原理
KV缓存推理服务vLLM

分页注意力(PagedAttention)来自 vLLM 论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》,解决的是推理服务的显存浪费问题:每个请求的 KV 缓存又大又长短不一,按连续内存管理会产生大量碎片和重复拷贝,限制了能同时批处理的请求数。

机制

灵感直接来自操作系统的虚拟内存与分页技术——KV 缓存被切成固定大小的「块」(block)非连续存放,按需分配,因此内存浪费接近零;同一请求内部、以及多个请求之间还能灵活共享 KV 块(例如多个请求共享同一段系统提示词的缓存)。在这套机制之上构建的 vLLM 推理引擎,论文报告在与 FasterTransformer、Orca 等当时最先进系统相同延迟水平下,吞吐提升 2-4 倍,序列越长、模型越大、解码算法越复杂时提升越明显。

适用边界

这是推理引擎层面的技术,不由终端用户直接操作;它的实际意义是——当你自托管模型或选用推理服务时,底层是否采用 PagedAttention 类机制直接决定单位显存能同时服务多少请求。词库已有「vLLM推理引擎」条目介绍该系统整体,本条聚焦其核心算法本身。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些自有内容板块,帮你从不同角度发现好工具。

☆ 0