LMCache

面向 LLM 推理的开源 KV Cache 管理层，降低首字延迟并提升吞吐量。

面向 LLM 推理的开源 KV Cache 管理层，降低首字延迟并提升吞吐量。

产品定位

LMCache 的定位是推理引擎与存储系统之间的缓存层，用户可在不同服务引擎和存储后端之间复用已存储的 KV cache。它以独立守护进程方式运行，与推理引擎进程解耦，即使引擎崩溃缓存也不会丢失。选型时需注意：其收益主要体现在 KV cache 可复用的长上下文、多轮对话和知识增强场景；关于 TTFT 与吞吐量的改进幅度属于厂商声明，实际效果取决于具体工作负载与部署环境，建议结合官方基准测试指南自行评测。

适合用户

  • LLM 推理服务部署工程师
  • AI 基础设施开发者
  • 推理系统研究人员

功能亮点

  • 持久化分层 KV cache 卸载与复用

    将 KV cache 从 GPU 显存卸载到 CPU 内存、本地存储和远程后端组成的分层存储体系，支持跨请求、会话和引擎实例复用，减少重复 prefill 计算。

  • 引擎无关的独立部署

    以独立守护进程运行，与推理引擎进程解耦，引擎崩溃时 KV cache 不丢失。

  • 生产级 KV cache 可观测性

    提供 Kubernetes 健康监控、性能诊断、请求级与 token 级前缀缓存命中、生命周期及用户级使用等指标。

  • 可插拔存储与传输后端

    通过统一接口集成远程存储与 KV 传输后端，支持 CPU RAM、本地 SSD、Redis/Valkey、Mooncake、InfiniStore、S3 兼容对象存储、NIXL 和 GDS。

  • 非前缀 KV 复用

    在提示词任意位置复用已缓存 KV 块，借助 CacheBlend 选择性重算 token 以恢复生成质量。

访问与价格

可用状态: 当前可用

价格信息: 开源

支持平台: 自托管

价格说明: LMCache 是采用 Apache License 2.0 的开源项目，可免费使用（截至 2026-08-31）。

官方入口

来源核验

资料核验于 2026-08-31