AirLLM

开源大模型推理库，用分层流式加载让超大模型跑进消费级显卡

开源大模型推理库，用分层流式加载让超大模型跑进消费级显卡

产品定位

AirLLM 的定位与常见推理加速框架不同：它不追求高吞吐，而是以牺牲速度换取极低的显存门槛，让没有高端显卡的用户也能运行超大参数模型。选型时需注意：推理前原始模型会被逐层分解并保存到 Hugging Face 缓存目录，需要预留充足磁盘空间；MacOS 上仅支持 Apple 芯片；项目提供 prefetching 等可配置选项。项目以 Apache-2.0 许可开源，通过 pip 安装，处于活跃维护状态。

适合用户

  • 在消费级硬件上部署大模型的开发者
  • 开源大模型研究人员

功能亮点

  • 低显存大模型推理

    通过每次仅在 GPU 上保留单层模型的流式加载方式，让 70B 模型在单张 4GB 显存显卡上运行，无需量化、蒸馏或剪枝。

  • AutoModel 自动加载

    使用 AutoModel.from_pretrained 传入 Hugging Face 模型 ID 或本地路径即可加载，官方称几乎支持所有主流开源大模型。

  • 分块量化模型压缩

    支持基于分块量化的模型压缩，官方称可将推理速度提升最多约 3 倍，精度损失几乎可忽略。

  • MacOS（Apple 芯片）支持

    可在 Apple 芯片的 MacOS 上运行 70B 大模型，需安装 mlx 和 torch。

  • CPU 推理

    自 v2.10.1 起支持 CPU 推理以及非分片模型。

使用步骤

快速上手推理流程

  1. 通过 pip install airllm 安装包
  2. 使用 AutoModel.from_pretrained 传入 Hugging Face 模型 ID 或本地路径初始化模型
  3. 用 model.tokenizer 处理输入文本
  4. 调用 model.generate 生成输出并解码

启用模型压缩加速

  1. 安装项目说明中要求的压缩依赖
  2. 根据仓库的配置说明启用 compression 参数

适用场景

在低显存硬件上运行超大规模开源模型

在消费级硬件上部署大模型的开发者

在单张 4GB 显存显卡上运行 70B 模型，或在 8GB/12GB 显存上运行 405B/671B 级别模型。

访问与价格

可用状态: 当前可用

价格信息: 开源

支持平台: macOS

价格说明: Apache-2.0 许可证开源项目，可免费通过 pip 安装使用。

官方入口

常见问题

遇到 MetadataIncompleteBuffer 错误怎么办？

最可能的原因是磁盘空间不足。模型切分过程非常消耗磁盘，可扩展磁盘空间、清理 Hugging Face 缓存后重试。

加载 gated 模型时出现 401 错误怎么办？

部分模型为受限模型，需要 Hugging Face API token，可在初始化时通过 hf_token 参数提供。

来源核验

资料核验于 2026-08-31