是什么：语义缓存是在普通「字符串完全相同才算命中」的缓存之上，加了一层向量相似度判断。用户的问法千变万化——「怎么退款」和「退款流程是什么」字面不同、语义相同——语义缓存能识别这类等价问法并复用答案。
机制
写入时把 prompt 编码成向量、连同模型回复一起存进向量库；查询时先编码新 prompt，在库里做近邻检索，相似度超过设定阈值即命中，直接返回缓存答案，否则才真正调用模型并把结果写回。GPTCache 就是这类「为 LLM 查询建语义缓存」的开源库；Redis 的 RedisVL 也提供 SemanticCache，可配置相似度阈值、TTL 与基于标签的过滤，用于多用户场景隔离。
关键参数是阈值
调松了命中率高但可能「答非所问」，调紧了退化成精确匹配。阈值必须按业务容错度实测标定。
适用边界
适合 FAQ、客服、文档问答这类答案相对稳定的场景；不适合实时数据、强个性化、以及要求逐字一致的高风险回答。与「提示词缓存」不同：后者复用完全相同前缀的 KV 计算、答案仍由模型现场生成，语义缓存则直接复用整条答案。