kvcache-ai/ktransformers
开源 LLM 异构推理与微调框架，让有限硬件跑得动超大模型
开源 LLM 异构推理与微调框架，让有限硬件跑得动超大模型
产品定位
该项目定位为研究项目而非成熟商业产品，选型时需注意其能力边界：当前仅提供推理（kt-kernel）与微调（SFT）两项能力。推理侧依赖 CPU 指令集（AMX/AVX512/AVX2）与 GPU 的组合，实际收益与具体硬件配置和模型量化方案密切相关；微调侧通过与 LlamaFactory 集成实现，需要按官方文档安装指定版本组件。项目持续更新模型与硬件后端支持，适合具备一定工程能力、愿意自行部署和排查的团队，不适合期望开箱即用托管服务的用户。
适合用户
- LLM 研究人员与开发者
- 需要在消费级或有限硬件上部署大模型的工程师
- 需要进行大模型微调的 AI 团队
功能亮点
高性能 kt-kernel 推理服务
面向异构 LLM 推理的 CPU 优化内核，支持 AMX/AVX512/AVX2 加速的 INT4/INT8 量化推理、NUMA 感知的 MoE 优化、CPU 侧量化权重与 GPU 侧 GPTQ，以及与 SGLang 等框架的 Python API 集成。
基于 LlamaFactory 的 MoE 模型微调
KTransformers × LlamaFactory 集成，支持在有限显存下对超大 MoE 模型进行 CPU/GPU 混合微调，采用 INT8/INT4 量化，在基准 MoE SFT 工作负载中相比 ZeRO-Offload 提速 6-12 倍，且 CPU 内存占用约为原 KT SFT 路径的一半。
多模型与多硬件后端支持
支持 GLM、DeepSeek、Kimi、MiniMax、Qwen 等系列模型，以及 AMD ROCm、Intel Arc/AMX、AVX2、昇腾 NPU、Windows 原生等多种硬件与平台后端。
访问与价格
可用状态: 当前可用
价格信息: 开源
支持平台: 自托管, Windows
价格说明: 开源项目，采用 Apache-2.0 许可证，可免费获取和使用代码。
官方入口
来源核验
资料核验于 2026-09-01